8分鐘,Grok 3破解美國本科生最難數賽題!馬斯克要用100萬GPU反超「星際之門」?
上周,馬斯克發布了其號稱「地表最強」的Grok 3模型。
一經發布便引爆全網,經過網友實測,發現其性能果然強悍!
物理學家Luis Batalha在x上表示,2025年的普特南競賽上,即使是前500名的頂尖選手,也無人能完整攻克下面這道難題。而Grok 3(Think)僅用了約8分鐘就找到了答案。
不只是解數學題,計算機博士Alvaro Cintas稱Grok 3是一款令人難以置信的AI編碼助手。
他在只用了幾個小時,就用Grok 3寫了超過1000行代碼,做出了一個功能齊全的2D垂直跳躍游戲。
該游戲擁有不同的英雄、怪物、平臺、難度和生命。以下是他的提示和游戲畫面,可以看出游戲制作得非常精美!
的確,由于Grok 3性能過于強悍,大量用戶正在拋棄ChatGPT并轉投Grok 3。
網友調侃說,他妻子嫉妒Grok 3,因為他跟Grok 3說的話比跟他妻子還多。
23號,知名AI投資人The AI Investor在x上預測,幾天后,馬斯克會發布一些關于Grok 3使用量的統計數據。
由于用戶的瘋狂涌入,馬斯克很可能得出結論,現在的20萬個GPU集群遠遠不能滿足需求。
也許xAI的百萬級GPU集群正在形成中。
在發布Grok 3時,馬斯克闡述了xAI在將其大規模GPU集群(包含20萬個英偉達GPU)進行擴容時所遇到的工程難題。并表示他們計劃將該集群擴容至100萬個GPU的規模。
對此消息,網友紛紛表示「利好英偉達」。
甚至有網友認為,xAI的數據中心規模將會大于Stargate項目所宣稱的。
超越「星際之門計劃」?
就在上個月,特朗普剛剛正式官宣「星際之門計劃」,號稱要在未來4年內砸5000億美金,重塑美國在AI界領導地位。
這項計劃將由OpenAI、軟銀、甲骨文牽頭,首期先部署1000億美元。紐約時報稱,首批10座數據中心目前已在得克薩斯州開建,未來將擴展到其他州。
此前,奧特曼提到的「已經在建設中」的星際之門計劃園區,即為Oracle/Crusoe阿比林園區。
該園區將容納供OpenAI使用的10萬臺GB200算力集群。這個開發項目以及計劃在第二季度和第三季度交付的GB200服務器,將部署在Oracle/Crusoe的數據中心內。
下面是2024年12月29日,拍攝的園區高清照片。
4個約11,150平方米的「模塊」組成了一棟44,600平方米的建筑,目前僅有兩棟建筑在建,關鍵IT負載容量約為180兆瓦。為了讓大家理解這一規模,整個由20棟建筑組成的園區將包含80個這樣的「模塊」!
除了正在部署的10萬臺GB200算力集群外,分析師估計,他們還將在整個園區部署另外20萬臺GB300和約40萬臺VR200(英偉達計劃在2026年推出的超算,分別對應Vera CPU和Rubin GPU)。
他們根據園區1,000億美元總擁有成本(TCO)投資,以及人工智能TCO模型中的單位成本,計算出了Vera Rubin處理器的隱含數量。
約70萬臺GPU的總IT功率為1.8GW,這與Oracle/Crusoe阿比林園區1,800兆瓦的容量相符。
OpenAI研究員稱「星際之門」將是有史以來最大的基礎設施投資之一,將為AGI創造計算和能源。其規模已經可以與阿波羅計劃和曼哈頓計劃相媲美。
不過在這項目標遠大的規劃中,并沒有看到馬斯克的xAI參與其中。
也許老馬有他自己的小算盤。當人們還在熱議xAI孟菲斯數據中心的「全球最大」稱號時,馬斯克已經在亞特蘭大悄然布下另一顆棋子。
馬斯克低調開建xAI第二個超算中心
在亞特蘭大,xAI一直在悄悄地建立數據中心(與X共同運營),將其業務版圖擴展到其在孟菲斯的大型數據中心之外。
根據與亞特蘭大經濟發展機構之一Develop Fulton簽署的協議中列出的設備清單,兩家公司將共同部署約12,000個英偉達GPU,其中大部分將被用于AI計算。
對此,Develop Fulton制定了一個市政債券融資方案,為這個單一設施中價值7億美元的芯片、線纜和其他設備提供融資。
其中,4.42億美元分配給X,2.58億美元給xAI。
內部詳情
知情的數據中心解決方案架構師和AI硬件專家表示,亞特蘭大數據中心擁有相當可觀的計算能力。其規模可與谷歌或亞馬遜等超大規??萍计髽I建立的數據中心相媲美。
X的代表將其描述為一個能夠計算「萬億參數AI」的百億億次級(exascale)數據中心。
但與xAI綽號為Colossus(巨人)的「世界最大超算」相比,這個設施的容量就顯得小了很多。
根據文件顯示,佐治亞州設施將安裝約12,448個英偉達GPU。其中絕大多數是Hopper架構的H100 GPU,每個服務器機架(含8枚芯片)的價格在27.7萬至50萬美元之間。
約3%的芯片是英偉達性能較低的A100 GPU,同樣配置的8枚芯片價格為14.7萬美元。其中,X提供了所有的A100,以及11,000個H100。
這兩種芯片設計都不需要液冷系統,而液冷一直是馬斯克公司在孟菲斯面臨的一個棘手問題。當全負載運行時,Colossus項目預計將成為該市最大的用水消費者之一。
除了H100芯片外,xAI還提供了同樣購自英偉達的Mellanox交換機和光學器件——這些高帶寬網絡設備可以提升芯片間的協同運算速度。
據估計,亞特蘭大設施將需要20兆瓦的總功率,這一用電量可以從現有電網獲得。
X和xAI的合作
亞特蘭大設施是馬斯克整合資源打造X和xAI的典型案例。其中,X為該數據中心貢獻了90%的硬件,而xAI貢獻了10%。
根據文件顯示,這些設備將用于訓練X平臺的大語言模型和語義搜索產品。LinkedIn資料顯示,X在該地區擁有約16名員工。
根據公司內部組織架構圖,xAI在佐治亞州設施配備了1名員工,另有2名員工被列為「X Corp合作伙伴」。
與Develop Fulton達成的協議顯示,該設施將保持現有的24個工作崗位,暫不增加新崗位。
馬斯克正努力將xAI打造成能夠與OpenAI和谷歌等科技巨頭抗衡的主要競爭者,甚至從特斯拉挖來了一些人才。
據此前報道,在過去一年中,公司已招募了數百名數據標注人員來訓練其聊天機器人,并計劃在未來幾個月內將招聘規模擴大到數千人。