過去的圖像生成模型常被人們詬病人物主要以「白人」為主，而谷歌 Gemini 正在因為它的矯枉過正而深陷翻車風波。它「過度謹慎」的文生圖結果會與歷史事實出現極大偏差，讓用戶們瞠目結舌。谷歌表示，該模型變得比開發者預期的更加謹慎。這不僅體現在生成圖片的問題上，還體現在常常將一些提示認作敏感提示，從而拒絕回答。

在此事不斷發酵時，這項安全與可用性如何平衡的難題也給 Meta 提出了巨大挑戰。LLaMA 2 是開源領域的「強中手」，更是 Meta 的招牌模型，一經發布即改變了大模型格局。現在，Meta 正在積極籌備 LLaMa 3，不過這得先解決 LLaMA 2 的遺留問題：回答有爭議問題時表現過于保守。

在安全與可用性之間尋求平衡

Meta 在 Llama 2 中添加了防護措施，防止 LLM 回答各種有爭議的問題。這種保守性雖然在處理極端情況時是必要的，如暴力或非法活動相關的查詢，但同時也限制了模型在回答較為普通但稍帶爭議的問題上的能力。據 The Information 報道，當其想 LLaMA 2 提出「員工如何在強制到辦公室的日子里避免進辦公室」的問題時，會被拒絕提供建議，或是獲得「尊重并遵守公司的政策和指導方針非常重要」。LLaMA 2 還拒絕提供如何惡作劇朋友、贏得戰爭或破壞汽車引擎的答案。這種保守的回答方式是為了避免公關災難的發生。

不過，據透露，Meta 的高級領導層和一些參與模型工作的研究人員認為 LLaMA 2 的回答過于「打安全牌」。Meta 正在努力讓即將推出的 LLaMA 3 模型在提供回答時能夠更加靈活，提供更多上下文信息，而不是直接拒絕回答。研究人員正在嘗試讓 LLaMA 3 能夠與用戶有更多互動，更好地理解用戶可能表達的含義。據悉， 新版本的模型將能更好地分辨一個詞的多重含義。例如，LLaMA 3 可能會明白，關于如何破壞汽車引擎的問題是指如何熄火，而不是對其進行損毀。The Information 的報道中提到，Meta 還計劃在未來幾周內任命一名內部人員負責語氣和安全培訓，這也是該公司努力使模型回答更加細致入微的一部分。

這樣的平衡點不只是 Meta 與谷歌需要攻克的難題，它顯然對很多科技巨頭造成了程度不一的影響。既要打造人人想用、人人能用、事事好用的產品，又要在此基礎上維持生成結果可靠的安全性，這是科技公司在跟進 AI 技術時必須面對的問題之一。

LLaMa 3 的更多信息

LLaMa 3 的發布萬眾矚目，Meta 計劃在 7 月份對其發布，但時間仍有可能發生變化。Meta 首席執行官馬克?扎克伯格野心勃勃，曾說到「雖然 Llama 2 不是行業領先的模型，但卻是最好的開源模型。對于 LLaMa 3 及其之后的模型，我們的目標是打造成為 SOTA，并最終成為行業領先的模型。」

原文地址：https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/

Meta 希望 LLaMa 3 能夠趕上 OpenAI 的 GPT-4。Meta 公司工作人員透露，目前還沒有決定  LLaMa 3 是否將是多模態的，是否能夠理解并生成文本和圖像，因為研究人員還沒有開始對模型進行微調。不過， LLaMa 預計將擁有超過 140 億個參數，這將大大超過 LLaMa 2，預示著其在處理復雜查詢方面的能力將得到顯著提升。

除了管夠的 35 萬塊 H100 和數百億美元，人才也是 LLaMa 3 訓練的「必需品」。Meta 通過其生成式 AI 小組開發 LLaMa，該小組與其基礎 AI 研究團隊是分開的。負責 LLaMa 2 和 3 安全的研究員 Louis Martin 于 2 月離開了公司。領導強化學習的 Kevin Stone 也在本月離開。這會不會對 LLaMa 3 的訓練產生影響尚不可知。LLaMa 3 是否能夠把握好安全與可用性的平衡，在代碼能力等方面給我們新的驚艷，我們拭目以待。