小扎All in 開源AGI:正訓練Llama 3,年底將有35萬塊H100
小扎宣布新目標:All in 開源AGI。
不錯,小扎又All in了,正是OpenAI谷歌必爭之地。
不過在AGI之前,著重強調了是Open Sourse(開源)的。
圖片
此舉受到不少好評,一如此前LIama系列大模型開源之時。
圖片
圖片
不過此次又一波All in,不禁讓網友想起上一波All in了:元宇宙去哪里了???
圖片
但必須要說的是,此次列的Flag確實更具體一些,甚至也透露了一些關鍵數據。
比如,
- 年底將有35萬塊H100,而包括其他GPU在內,總算力將相當于60萬塊H100。
- FAIR團隊的工作將與GenAI團隊更為緊密。
- LIama 3即將到來。
最后他還打了個小廣告。他們正在打造以AI為中心的新型計算設備,比如Ray Ban Meta 智能眼鏡。
看來元宇宙還在繼續。
小扎又All in了
現在,小扎正式宣布加入AGI之爭。
雖然沒有明確的時間表,但作為長期愿景,明確表示兩個關鍵點:
負責任地開源,并廣泛提供,讓每個人都能從中獲益。
而為了實現這一目標,主要有兩件事:
第一,將現有兩大AI研究工作團隊(FAIR 和 GenAI)緊密結合在一起。
按照LeCun的話說,就是兩個成為兄弟部門。
圖片
并表示,Llama-3 is coming!
第二,建設大規模的計算基礎設施:今年年底將擁有35萬塊H100,總算力相當于60萬個H100。
按照2.5萬美元至3萬美元出售價來測算,總算力價值將達到150億美元至180億美元。
此前曾有機構預計,2023年英偉達朝Meta的H100出貨量能達到15萬塊,同微軟持平,并且至少是其他公司的三倍。
為此小扎表示,我們已經建立了這樣的能力,其規??赡鼙热魏纹渌麊为毜墓径即蟆?/p>
有網友算了算計算能力直呼:大腦大小的模型即將到來。
圖片
不過也有人質疑,英偉達應該生產不了那么多。
圖片
但有Meta領導現身說法:H100是包含現有在內,一共35萬塊。
圖片
除此之外,還強調了硬件設備上的進展。
大佬們對于AGI的評價
在小扎宣布這一消息之前,不少大佬在達沃斯世界經濟論壇上發表了不少關于AGI的評論。
像LeCun則在The Expanding Universe of Generative Models這一論壇上強調了AGI實現路徑中開源的重要性。
我們之所以能在人工智能領域看到如此快速的進步,是因為人們進行了開放研究。
即便他經常經常對AGI很快到來(當然不是在未來五年內)表示懷疑,但AGI還是到來了。
圖片
而Transformer主創Aidan Gomez則表示:
目前我們還沒有完成擴展,我們還需要繼續努力。
至于像OpenAI CEO奧特曼表示,人類水平的人工智能很快到來,但對世界的改變遠比我們想象的要小。
通用人工智能(AGI)可能會在“相當接近的未來”得到開發。
對于AGI的發展,你們怎么看?