一紙公告，“大模型市場(chǎng)格局變了”。

圖片

Meta與微軟聯(lián)手發(fā)布免費(fèi)、可直接商用的LLaMA2。而作為首選合作伙伴，微軟Windows可本地運(yùn)行這一版本。

此外在AWS、Hugging Face上也可以獲取，高通也官宣成為其合作伙伴。

這種背刺OpenAI的操作，讓不少網(wǎng)友直呼刺激。

圖片

還有人對(duì)這種開放程度表示驚嘆，畢竟上個(gè)開源版本就已被產(chǎn)學(xué)研界廣泛使用——LLaMA訪問需求已超10萬次，已經(jīng)有小伙伴開發(fā)應(yīng)用程序供大家免費(fèi)測(cè)試了。

圖片

但與此同時(shí)，質(zhì)疑聲隨之而來：

• 核心作者已離開Meta，論文正文查無此人；
• 如此注重安全，以至于最終可能毫無用處；
• 雖說可商用，實(shí)際上有附加限制。

……

有人調(diào)侃小扎be Like：

核心作者已離開

此次LLaMA2的發(fā)布，從作者列表開始就已經(jīng)透露不少玄機(jī)。

圖片

首先，規(guī)模更大，團(tuán)隊(duì)集成到了GenAI部門。這是小扎專門應(yīng)時(shí)而設(shè)的生成式AI產(chǎn)品部門。

圖片

第二，昔日一些核心作者已經(jīng)不見蹤影。比如Armand Joulin, Edouard Grave, Guillaume Lample，Timothee Lacroix等。

其中一位在網(wǎng)上吐槽：

因?yàn)楹诵淖髡唠x開公司就將其從論文中刪除，這是我很慶幸離開Meta的原因之一。

圖片

事實(shí)上，在論文的附錄上，還能看到他們的名字。不過正文部分已經(jīng)查無此人。

圖片

據(jù)小扎和GPT-4介紹，此次LLaMA2共發(fā)布了從70億、130億、340億以及700億參數(shù)的預(yù)訓(xùn)練和微調(diào)模型，將免費(fèi)提供用于研究和商業(yè)用途。

預(yù)訓(xùn)練過程，相較于上一代數(shù)據(jù)增長(zhǎng)40%，上下文長(zhǎng)度也增加了一倍，并采用分組查詢注意力機(jī)制（GQA）來提升性能。

圖片

微調(diào)階段，其版本稱為L(zhǎng)lama 2-Chat，共收集了超100萬條人工標(biāo)注用于SFT（監(jiān)督微調(diào)）和RLHF。

圖片

值得一提的是，此次還曝光了每個(gè)預(yù)訓(xùn)練模型GPU所需總時(shí)長(zhǎng)。

圖片

熱心的網(wǎng)友測(cè)算了下總成本，如果以1.5美元/A100計(jì)算，那么700億參數(shù)模型成本將為260萬美元。

圖片

感興趣的朋友可進(jìn)一步前往論文查看哦~（文末附上鏈接）

微軟成LLaMA2首選伙伴

不過除了LLaMA2本身值得關(guān)注之外，其開放合作機(jī)制也引發(fā)了不少的熱議。

公告中雖然強(qiáng)調(diào)“免費(fèi)用于研究和商業(yè)用途”，但仍有不少限制。

因此有人直言：我不明白LLaMA2這次炒作！

圖片

比如，可商用協(xié)議實(shí)際暗含附加限制。

有網(wǎng)友發(fā)現(xiàn)在GitHub許可證文件上發(fā)現(xiàn)，如果使用者利用LLaMA2提供產(chǎn)品或服務(wù)，月活躍用戶超過7億，那么必須向Meta申請(qǐng)?jiān)S可。

而Meta可自行決定向其授予許可。

圖片

還有就是可接受使用政策限制很多。這樣一來，就可能導(dǎo)致“回答得很無聊，最終可能導(dǎo)致毫無用處”。

圖片

在政策中可以看到，主要分為四個(gè)部分：違反法律或侵犯他人權(quán)利；參與、促進(jìn)、煽動(dòng)、促進(jìn)或協(xié)助規(guī)劃或開展對(duì)個(gè)人造成死亡或身體傷害風(fēng)險(xiǎn)的活動(dòng)；故意欺騙或誤導(dǎo)他人；未能適當(dāng)向最終用戶披露人工智能系統(tǒng)的任何已知危險(xiǎn)。

因此有人認(rèn)為相較ChatGPT而言，LLaMA2少了些靈活性。這可能就是開源與閉源之間的區(qū)別。

但不可否認(rèn)的是，Meta堅(jiān)定選擇開放開源這條路徑。

甚至于此次，還邀請(qǐng)了產(chǎn)學(xué)研界的伙伴高調(diào)地發(fā)表了一篇支持聲明。

圖片

包括英偉達(dá)、AMD、HuggingFace、YC、GitHub、 Databricks、Shopify、Zoom等公司的企業(yè)高管，還有UC伯克利、MIT等教授，比如CMU教授、MBZUAI大學(xué)校長(zhǎng)邢波。

以及更多伙伴也順勢(shì)官宣與Meta合作，把LLaMA2集成到自己的產(chǎn)品中去，比如高通。

圖片

對(duì)此此番LLaMA2炸場(chǎng)，你怎么看？

而開源與閉源，在大模型時(shí)代，究竟誰才是更優(yōu)解？

論文鏈接：
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_QM_ym&_nc_ht=scontent-sjc3-1.xx&oh=00_AfAjtvFkEIu8MPpfQykAZosxwZrew4g_n0D_DKkTOuyIVA&oe=64BBB691
參考鏈接：
[1]https://about.fb.com/news/2023/07/llama-2-statement-of-support/
[2]https://about.fb.com/news/2023/07/llama-2/
[3]https://twitter.com/ylecun/status/1681336284453781505
[4]https://github.com/facebookresearch/llama/blob/main/LICENSE
[5]https://arxiv.org/abs/2302.13971
[6]https://twitter.com/moinnadeem/status/1681393075367841792
[7]https://twitter.com/GuillaumeLample/status/1681346701766934543?s=20
[8]https://chat.openai.com/share/c9868736-934f-40ce-a470-c0bb4359c260
[9]https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl