過(guò)去的圖像生成模型常被人們?cè)嵅∪宋镏饕浴赴兹恕篂橹鳎雀?Gemini 正在因?yàn)樗某C枉過(guò)正而深陷翻車(chē)風(fēng)波。它「過(guò)度謹(jǐn)慎」的文生圖結(jié)果會(huì)與歷史事實(shí)出現(xiàn)極大偏差，讓用戶(hù)們瞠目結(jié)舌。谷歌表示，該模型變得比開(kāi)發(fā)者預(yù)期的更加謹(jǐn)慎。這不僅體現(xiàn)在生成圖片的問(wèn)題上，還體現(xiàn)在常常將一些提示認(rèn)作敏感提示，從而拒絕回答。

在此事不斷發(fā)酵時(shí)，這項(xiàng)安全與可用性如何平衡的難題也給 Meta 提出了巨大挑戰(zhàn)。LLaMA 2 是開(kāi)源領(lǐng)域的「強(qiáng)中手」，更是 Meta 的招牌模型，一經(jīng)發(fā)布即改變了大模型格局。現(xiàn)在，Meta 正在積極籌備 LLaMa 3，不過(guò)這得先解決 LLaMA 2 的遺留問(wèn)題：回答有爭(zhēng)議問(wèn)題時(shí)表現(xiàn)過(guò)于保守。

在安全與可用性之間尋求平衡

Meta 在 Llama 2 中添加了防護(hù)措施，防止 LLM 回答各種有爭(zhēng)議的問(wèn)題。這種保守性雖然在處理極端情況時(shí)是必要的，如暴力或非法活動(dòng)相關(guān)的查詢(xún)，但同時(shí)也限制了模型在回答較為普通但稍帶爭(zhēng)議的問(wèn)題上的能力。據(jù) The Information 報(bào)道，當(dāng)其想 LLaMA 2 提出「員工如何在強(qiáng)制到辦公室的日子里避免進(jìn)辦公室」的問(wèn)題時(shí)，會(huì)被拒絕提供建議，或是獲得「尊重并遵守公司的政策和指導(dǎo)方針?lè)浅Ｖ匾埂LaMA 2 還拒絕提供如何惡作劇朋友、贏得戰(zhàn)爭(zhēng)或破壞汽車(chē)引擎的答案。這種保守的回答方式是為了避免公關(guān)災(zāi)難的發(fā)生。

不過(guò)，據(jù)透露，Meta 的高級(jí)領(lǐng)導(dǎo)層和一些參與模型工作的研究人員認(rèn)為 LLaMA 2 的回答過(guò)于「打安全牌」。Meta 正在努力讓即將推出的 LLaMA 3 模型在提供回答時(shí)能夠更加靈活，提供更多上下文信息，而不是直接拒絕回答。研究人員正在嘗試讓 LLaMA 3 能夠與用戶(hù)有更多互動(dòng)，更好地理解用戶(hù)可能表達(dá)的含義。據(jù)悉， 新版本的模型將能更好地分辨一個(gè)詞的多重含義。例如，LLaMA 3 可能會(huì)明白，關(guān)于如何破壞汽車(chē)引擎的問(wèn)題是指如何熄火，而不是對(duì)其進(jìn)行損毀。The Information 的報(bào)道中提到，Meta 還計(jì)劃在未來(lái)幾周內(nèi)任命一名內(nèi)部人員負(fù)責(zé)語(yǔ)氣和安全培訓(xùn)，這也是該公司努力使模型回答更加細(xì)致入微的一部分。

這樣的平衡點(diǎn)不只是 Meta 與谷歌需要攻克的難題，它顯然對(duì)很多科技巨頭造成了程度不一的影響。既要打造人人想用、人人能用、事事好用的產(chǎn)品，又要在此基礎(chǔ)上維持生成結(jié)果可靠的安全性，這是科技公司在跟進(jìn) AI 技術(shù)時(shí)必須面對(duì)的問(wèn)題之一。

LLaMa 3 的更多信息

LLaMa 3 的發(fā)布萬(wàn)眾矚目，Meta 計(jì)劃在 7 月份對(duì)其發(fā)布，但時(shí)間仍有可能發(fā)生變化。Meta 首席執(zhí)行官馬克?扎克伯格野心勃勃，曾說(shuō)到「雖然 Llama 2 不是行業(yè)領(lǐng)先的模型，但卻是最好的開(kāi)源模型。對(duì)于 LLaMa 3 及其之后的模型，我們的目標(biāo)是打造成為 SOTA，并最終成為行業(yè)領(lǐng)先的模型。」

原文地址：https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/

Meta 希望 LLaMa 3 能夠趕上 OpenAI 的 GPT-4。Meta 公司工作人員透露，目前還沒(méi)有決定  LLaMa 3 是否將是多模態(tài)的，是否能夠理解并生成文本和圖像，因?yàn)檠芯咳藛T還沒(méi)有開(kāi)始對(duì)模型進(jìn)行微調(diào)。不過(guò)， LLaMa 預(yù)計(jì)將擁有超過(guò) 140 億個(gè)參數(shù)，這將大大超過(guò) LLaMa 2，預(yù)示著其在處理復(fù)雜查詢(xún)方面的能力將得到顯著提升。

除了管夠的 35 萬(wàn)塊 H100 和數(shù)百億美元，人才也是 LLaMa 3 訓(xùn)練的「必需品」。Meta 通過(guò)其生成式 AI 小組開(kāi)發(fā) LLaMa，該小組與其基礎(chǔ) AI 研究團(tuán)隊(duì)是分開(kāi)的。負(fù)責(zé) LLaMa 2 和 3 安全的研究員 Louis Martin 于 2 月離開(kāi)了公司。領(lǐng)導(dǎo)強(qiáng)化學(xué)習(xí)的 Kevin Stone 也在本月離開(kāi)。這會(huì)不會(huì)對(duì) LLaMa 3 的訓(xùn)練產(chǎn)生影響尚不可知。LLaMa 3 是否能夠把握好安全與可用性的平衡，在代碼能力等方面給我們新的驚艷，我們拭目以待。