凌晨4:20，大洋彼岸的最大超算訓(xùn)練集群開(kāi)始轟鳴。

「420」也是馬斯克最喜歡玩的梗，象征著自由、不受約束和反傳統(tǒng)。

馬斯克頻繁把「420」用在他的產(chǎn)品定價(jià)，公司開(kāi)會(huì)時(shí)間和星艦一發(fā)射時(shí)間上等等。

網(wǎng)友也在評(píng)論區(qū)打趣馬斯克超絕儀式感，不到4:20不開(kāi)工。

在最新采訪中，馬斯克透露了更多關(guān)于新建超算和xAI模型進(jìn)展：

• Grok 2上個(gè)月完成了訓(xùn)練，大約用了15K H100
• Grok 2將于下個(gè)月發(fā)布，與GPT-4相當(dāng)
• Grok 3正在新建10萬(wàn)塊液冷H100超算上，開(kāi)始訓(xùn)練
• 預(yù)計(jì)Grok 3將在12月發(fā)布，「屆時(shí)將成為世界上最強(qiáng)大的人工智能」

10萬(wàn)塊液冷H100，19天完成搭建

值得注意的是，這個(gè)全球最大的超算集群，大就大在擁有10萬(wàn)塊H100，還是液冷的那種。

10萬(wàn)塊H100是什么概念呢?

價(jià)格上來(lái)看，H100 GPU作為AI的關(guān)鍵組件、硅谷的熱門商品，據(jù)估計(jì)每塊成本在3萬(wàn)到4萬(wàn)美元之間，10萬(wàn)塊H100就是一筆40億的大單。

而在全美TOP 5的高校機(jī)器學(xué)習(xí)博士曾發(fā)帖說(shuō)，實(shí)驗(yàn)室H100數(shù)量為0，要用GPU得靠搶。

李飛飛也在采訪里表示，斯坦福的自然語(yǔ)言處理小組只有64塊A100 GPU。

而馬斯克一出手就是10萬(wàn)塊，這個(gè)數(shù)字令評(píng)論區(qū)垂涎欲滴。

算力上來(lái)看，算力大約是OpenAI用于訓(xùn)練GPT4的25000塊A100的20倍左右。

耗電上來(lái)看，僅僅是讓這個(gè)超級(jí)計(jì)算中心維持運(yùn)轉(zhuǎn)，所需要的電力總功率就達(dá)到70MW，相當(dāng)于這是一座普通電廠的裝機(jī)容量，可滿足20萬(wàn)人的能源需求。

今年5月，馬斯克就曾表示，希望在2025年秋季前建成「超算工廠」。

現(xiàn)在看來(lái)，為了加速超級(jí)集群的建設(shè)，他選擇了購(gòu)買當(dāng)前一代的H100 GPU，而不是等待新一代的H200或其他即將推出的基于Blackwell的B100和B200 GPU。

盡管市場(chǎng)預(yù)期Nvidia的新Blackwell數(shù)據(jù)中心GPU將在2024年底前上市，馬斯克顯然沒(méi)有耐心等待。

當(dāng)前AI軍備競(jìng)賽越發(fā)火熱，唯快不破，誰(shuí)能最快地推出產(chǎn)品就能迅速占領(lǐng)市場(chǎng)。

xAI作為一家初創(chuàng)公司，更是要在與其他巨頭之戰(zhàn)中先聲奪人。

在之前，馬斯克與甲骨文的百億大單就談崩了，馬斯克嫌棄甲骨文速度太慢，認(rèn)為對(duì)方?jīng)]有以可行的速度構(gòu)建計(jì)算集群。

而甲骨文則覺(jué)得xAI建超算選址承擔(dān)不了電力的需求，隨著百億訂單的談判破裂， xAI和甲骨文停止了討論擴(kuò)大現(xiàn)有合作的可能性。

xAI只得在田納西州孟菲斯市建設(shè)自己的人工智能數(shù)據(jù)中心，與甲骨文的合作破裂意味著xAI要自己動(dòng)手單干，通過(guò)10萬(wàn)塊H100構(gòu)建獨(dú)立的數(shù)據(jù)中心，以擺脫甲骨文等云提供商能力的限制。

馬斯克自己也表示，xAI擁有世界最強(qiáng)的AI訓(xùn)練集群，可謂遙遙領(lǐng)先。

世界最強(qiáng)Grok-3開(kāi)訓(xùn)，年底發(fā)

在馬斯克最新一則采訪中，披露了建立超算的一些細(xì)節(jié)。

據(jù)大孟菲斯商會(huì)（Greater Memphis Chamber）主席Ted Townsend透露，馬斯克只花了大約一周的時(shí)間就決定將xAI的新超級(jí)計(jì)算機(jī)建造在孟菲斯。

Townsend說(shuō)，經(jīng)過(guò)3月份的幾天旋風(fēng)式談判之后，馬斯克和他的團(tuán)隊(duì)選擇了田納西州的這座城市，因?yàn)檫@里有充足的電力和快速建設(shè)的能力。

并且，僅僅花費(fèi)了19天超算中心就建造完成，馬斯克也在推文中贊揚(yáng)了團(tuán)隊(duì)優(yōu)秀的工作。

Supermicro公司也為xAI提供了大部分硬件支持，其CEO Charles Liang也在馬斯克的推文下發(fā)表了評(píng)論，贊揚(yáng)了團(tuán)隊(duì)的執(zhí)行能力。

如此之大的訓(xùn)練集群，目的就是為了訓(xùn)練Grok 3。

本月初，馬斯克就宣布8月底推出Grok 2，在Grok-2尚未發(fā)布的情況下，馬斯克也透露了Grok-3的部分細(xì)節(jié)，為最強(qiáng)模型Grok 3造勢(shì)。

馬斯克在今年4月接受挪威主權(quán)基金負(fù)責(zé)人Nicolai Tangen采訪時(shí)說(shuō)，Grok 2需要大約2萬(wàn)張H100來(lái)進(jìn)行訓(xùn)練。

Grok 3將于年底發(fā)布，可以預(yù)見(jiàn)，基于10萬(wàn)個(gè)GPU訓(xùn)練的Grok 3性能方面將比Grok 2更上一層樓。

如此巨大的超算中心，自然需要大量人才和技術(shù)的支持，馬斯克也繼續(xù)在推特上招兵買馬，讓數(shù)據(jù)優(yōu)勢(shì)、人才優(yōu)勢(shì)和算力優(yōu)勢(shì)全部擴(kuò)張到極致。