Llama-4使用10萬塊GPU訓練、更好開源，扎克伯格親口確認！ 精華
全球最大社交平臺Meta（Facebook、Instagram、WhatsApp等母公司）聯合創始人兼CEO扎克伯格接受了，前Vox著名記者Cleo Abram的專訪。
主要談到了Meta最新發布的變革性產品全息AR眼鏡，開源大模型、生成式AI的發展以及全球開發者非常關心的Llama-4。
扎克伯格親口確認了Llama-4使用了超過10萬個GPU進行訓練。目前Meta公開的算力是60萬塊GPU，也就是說Llama-4已經成為Meta的主力拳頭產品，使用更多的GPU訓練有助于突破AI極限。
下面的內容主要分為三大塊：第一部分是「AIGC開放社區」剪輯扎克伯格談Llama-4的部分；
第二部分則是完整的47分鐘專訪，我們只進行了簡單的大意概括，聽力好的小伙伴可以忽略直接看原視頻；
第三部分則是Meta最新開源的輕量級多模態大模型Llama-3.2，這是專門為手機、平板等移動端設計的模型，性能非常強。
扎克伯格談Llama-4
扎克伯格認為AI大模型的極限非常高，遠沒有達到盡頭。例如，Llama 3使用了2萬塊GPU進行訓練；Llama 4使用了超10萬塊GPU，Llama 5則會使用更多。這就是說在如此多的GPU訓練下，模型的性能和商業潛力會進一步被人類挖掘。
它可能會在某個時候達到了一個極限，就像以前的系統一樣存在一個漸近線，不會繼續增長。但也有可能這個極限不會很快到來，我們可以繼續構建更多的算力集群，生成更多的合成數據來訓練模型，并且在相當長的一段時間內它們對人們變得越來越有用。
所以，這對于大模型賽道的玩家來說非常非常重大且高風險。因為我們需要對未來需要構建多少基礎算力設施進行押注，這對于Meta這樣的超大規模企業會涉及數千億美元投資。
同時隨著這種大規模GPU訓練的出現，模型的性能可能會發生實時性的變化，可能架構會再一次發生根本性變化（例如，出現比Transformer、Mamba架構更好），這個時間點可能很快會到來。
扎克伯格相信在大模型、生成式AI領域，未來20年的競爭格局可能會實時變化（例如，現如今的領頭羊是OpenAI，那時可能就是別人了）。
47分鐘完整專訪
在整個完整的采訪中，扎克伯格還談到了Meta最新發布的顛覆性產品全息AR眼鏡。這是Meta花費了 10 年研發，將所有計算設備小型化裝進眼鏡中，使其能在廣闊視野中呈現全全息圖。
這個眼鏡可以讓人們在未來進行類似真實在場的交流，比如我和你可能一個在物理位置，一個以全息圖形式交流，還能互動、工作、玩游戲等，會重塑工作、科學、教育、娛樂等多個領域。這只是第一個原型版本還會繼續改進，讓它更便宜、質量更高、更小、更時尚，希望能做成像電腦一樣大眾能普遍接觸到的產品。
還有類似抬頭顯示器的產品，視野較小，在與人工智能對話等方面有價值；而全全息增強現實眼鏡會是最高端、較昂貴但有潛力普及的產品。混合現實頭戴式設備也會繼續存在，因為它能容納更多計算能力。Meta的使命是讓技術普及，像推出價格較低但高質量的 Quest 3S 等混合現實頭戴式設備。
扎克伯格在發布會介紹最新全息眼鏡
在 AI 方面，扎克伯格覺得有兩個重要價值：在增強現實和混合現實這邊，主要是帶來在場感，就是和另一個人真正在場的那種深刻感覺，這是目前其他技術給不了的，人們體驗虛擬或混合現實時的本能反應其實就是對這種在場感的反應。
Meta專注設計社交應用 20 年，就是想建立能提供這種社交在場感的技術平臺。但實現全面的在場感還面臨一些挑戰，例如，觸覺方面，從手開始實現較為重要，現在用控制器有初步版本未來會更好，像打乒乓球演示中能感受球擊中球拍，但像柔道那種需要真實力反饋的運動在虛擬現實中實現較難。
還有很多因素會影響在場感，比如視野、延遲、物理表現等，任何一個環節出錯都可能破壞在場感，像人們對物理真實的接受度也有差異，例如，在化身方面，不同風格的化身與不同類型世界的融合有有趣的效果，這需要在技術上全面且出色地實現，是長期項目，也能幫助我們了解人類大腦對真實的認知。
另一個大方向是個性化 AI，Llama 和 Meta AI 等都在朝這個方向發展。模型會越來越智能，但關鍵是為用戶個性化，這就需要它有背景，理解用戶生活中發生的事，而眼鏡是理想外形因素，因為它能看到用戶所見、聽到用戶所聽，獲取信息和背景。
在 AI 的使用場景方面，存在一個類似光譜的情況。一方面，像實時自動翻譯（如星際迷航中的通用翻譯器）等技術能消除人與人之間的交流障礙，雖然有人擔心這會讓人減少學習語言，但實際人們仍會學習拉丁語和希臘語等。
另一方面，在教育等領域，努力和掙扎本身有其意義，例如，孩子和成人在情感表達上的掙扎，AI 可作為幫助他們表達情感的方式，但這也引發了關于在哪些方面應保留努力和掙扎以促進個人發展的思考，比如在編程和語言學習上，雖然未來有強大的AI工具，但教孩子編程有助于培養嚴謹思維，語言學習雖功能性可能降低但對思維和文化理解有幫助，人們需要根據未來變化選擇要重點學習的內容。
AI 會加速社交媒體的變化，使其從以朋友互動為主轉向更多與創作者或非熟人內容互動。AI 會為人們提供更多創作工具，朋友能制作更有趣的內容，創作者能利用更先進工具制作更吸引人的內容，還會有純 AI 生成的個性化內容，以及 AI 創作者和創作者制作的 AI 版本自己與粉絲互動等新形式，這將是一個深度探索的領域，AI 會像互聯網一樣改變幾乎每個領域和應用程序的每個功能，帶來大量創新和令人興奮的變化，但也引發了對變化速度和影響的擔憂。
關于大模型開源，扎克伯格認為開源意味著人們可以構建很多不同的東西。一些公司希望打造一個通用的 AI 系統供人們使用，但我覺得未來會有很多不同的 AI 系統，就像有很多不同的應用程序一樣，每個企業、創作者等都會有自己的 AI。
開源能讓每個人都可以修改模型并在其基礎上構建東西，與閉源模型的集中式方法不同。在安全方面，有人認為封閉模型更安全，但歷史上開源軟件往往更安全，因為更多人可以審查，問題能更快被發現和解決，就像 Llama 模型不斷升級一樣，開源能讓模型更智能、更安全，為更多人所用，開源可能會帶來更繁榮和安全的未來。
開源多模態大模型Llama-3.2
Meta又開源了首個多模態大模型Llama-3.2，這是Llama-3系列的一次重大升級，一共有4個版本。
1B和3B參數專為邊緣和移動設備設計，而較大的11B和90B參數模型為 Llama 生態系統帶來了新的視覺能力。
1B 和 3B支持 12K 令牌的上下文長度，擅長總結、指令遵循和文本重寫等任務，并且能在移動設備上本地運行。更重要的是，這些輕量級模型發布時便對高通和聯發科的硬件進行了適配，并針對 Arm 處理器進行了優化，廣泛的兼容性將加速其在各種移動和物聯網設備中的應用。
11B和90B視覺模型是 Llama首次發布的多模態大模型，能理解和推理圖像，實現文檔分析、圖像字幕和視覺問答等任務。Meta 報告其性能在圖像識別和視覺理解基準測試中與領先的閉源模型具有競爭力。新的視覺模型可作為現有純文本模型的直接替代品，方便開發者為現有基于 Llama 的應用添加圖像理解功能。
除了新開源的模型，Meta 還推出了 Llama Stack Distribution 以簡化開發者和企業圍繞 Llama 構建應用的流程。其核心是 Llama CLI，這是一個命令行界面，簡化了構建、配置和運行 Llama Stack 分布的過程。
Meta 提供了多種編程語言的客戶端代碼，包括 Python、Node.js、Kotlin和 Swift，以實現與不同應用和平臺的集成。
Llama Stack 具有部署靈活性，為 Distribution Server 和 Agents API Provider 提供預制 Docker 容器以減少配置錯誤，并針對不同運營規模提供從單機單節點分布到與 AWS、Databricks、Fireworks 和 Together AI 合作的可擴展云部署等解決方案。在 iOS上通過 PyTorch ExecuTorch 提供設備端分布，方便開發直接在移動設備上運行的AI 應用。
由于安全、合規或性能考慮需要內部AI能力的公司可以利用Dell Technologies支持的本地分發?？赏ㄟ^將多個API提供商打包到一個單一端點，并與合作伙伴合作以適應Llama Stack API，Meta為這些多樣化環境中的開發者創造了一致且簡化的體驗。
這種方法顯著降低了構建Llama模型的復雜性，加速了AI在廣泛的應用程序和用例中的創新。
開源地址：https://www.llama.com/?utm_source=twitter&utm_medium=organic_social&utm_cnotallow=video&utm_campaign=llama32
本文轉自 AIGC開放社區 ，作者： AIGC開放社區
