撰稿 | 云昭
微軟雄心勃勃,在Windows11全面AI化的同一天,再被曝出新動作。
當地時間9月25日,微軟在官網上突然掛出了一則“核技術首席項目經理”的招聘消息。不難看出,繼微軟云之后,納德拉在對待大模型這件事情,可謂火力全開。
但令人意外的是,從“Office全家桶”接入GPT4、Azure提供云資源,再到最近的Windows11全面AI化,就在全新的微軟呼之欲出的時候,為什么微軟竟決定對能源這塊也要下手呢?
1、人工智能和和核能,微軟一個都不放過!
微軟正在招募的“核技術首席項目經理”崗位,任務是領導全球小型模塊化反應堆( Small Modular Reactor, SMR)和微反應器集成的技術評估,為微軟云和 AI所在的數據中心提供動力。“這一崗位將為技術集成保持清晰且適應性強的路線圖,認真選擇和管理技術合作伙伴和解決方案,并不斷評估進展和實施的業務影響。”招聘帖子中如是說。
圖源:微軟
此外,微軟對于這一崗位的理想候選人也給出了要求:應具有能源行業的經驗,并對核技術和監管事務有深入的了解。該職位還將負責研究和開發其他商業化前的能源技術。
2、大模型“跑廢”特斯拉!
知名業內專家吳軍,曾對ChatGPT訓練有一個比喻:每訓練一次ChatGPT,相當于讓3000輛特斯拉電動汽車在一個月走完了21年的路,基本全跑廢掉。這一形容并不夸張。
根據斯坦福人工智能研究所(HAI)發布的《2023年人工智能指數報告》,訓練GPT3所需的電量,足夠讓一個普通美國家庭用上數百年。而據國盛證券估算,GPT-3的單次訓練成本就高達140萬美元,對于一些更大的LLM(大型語言模型),訓練成本介于200萬美元至1200萬美元之間。
數據來源:Luccioni et al.
“大模型訓練成本中60%是電費,”華為AI首席科學家田奇也曾對電力問題表示擔憂,認為電力的降本增效已迫在眉睫。如果大模型普及,全球飛速運轉的服務器,怕不會把地球燒了。
也無怪乎,OpenAI創始人周一在一場活動上表示現在對于GPT而言,重點在于“降低成本和提高可靠性”,而不是急于推出GPT-5。
3、為了省電,硅谷大佬們思路大開
首先看微軟。目前看,微軟將目光鎖定在了核能。大家可能不知道,比爾·蓋茨還有另外一個身份,就是核創新公司TerraPower的董事長,該公司正在開發和推廣小型模塊化反應堆設計。不過,TerraPower的一位發言人稱,“目前沒有任何向微軟出售反應堆的協議。”
美國能源情報署的數據顯示,美國現有的核反應堆目前的發電量約占美國總發電量的18%。而下一代核反應堆技術的希望很大程度上寄托在小型核反應堆上。
顧名思義,小型核反應堆比傳統反應堆更小,建造起來也更便宜、建設速度更快,因為它們采用模塊化結構設計,并不是反應堆的每個部件都需要定制。
此外,微軟方面已經公開承諾將從核聚變領域創新者那里尋求核能。今年5月,微軟宣布與核聚變初創公司Helion簽署了一項電力購買協議,將于2028年從Helion購買電力。碰巧的是,OpenAI首席執行官薩姆·奧特曼,也是Helion的早期重要投資者。
還有,大名鼎鼎的“硅谷鋼鐵俠”馬斯克對于能源這塊也有過考慮。4月就有傳聞,馬斯克和貝索斯準備聯手訓練一個超級大模型。為了節約制冷和耗能,兩位竟然提出了一個“太空數據中心”的計劃,把五萬片H100英偉達卡由SpaceX送到太空,并攜帶巨量的太陽能板,以期借由太空的力量解決電力的問題。不過有專家分析這個方案不靠譜,目前衛星太陽能帆板的供電系統普遍功率只有1200W,無論是電力供應還是成本,都不如地面的解決方案。
圖片
當然,還有一種比較靠譜的方案,就是優化芯片本身的耗能。這種能耗管理的邏輯是,數據中心有多塊芯片,每個芯片上有幾十億甚至上百億的晶體管,一個晶體管,相當于一個用電單位,以此推斷,一顆指甲蓋大小的芯片,就是一個規模龐大的能源網絡。如果能夠將每個晶體管的能耗優化,那么最后的節能就能輻射到整個數據中心。
這塊探索比較多的是全球EDA龍頭企業新思科技,早在7年前就啟動了一項叫做“高能效設計”的項目,將芯片的能效最大化。
4、微軟,僅僅是想解決能耗問題?
微軟此舉,不止是出于對AI的押注和數據中心動力來源的考慮,還有著其他的原因。
據外媒theVerge稱,比爾蓋茨一直以來都是核能的忠實粉絲,因為核能不會產生溫室氣體的排放,對于應對氣候變化方面或發揮著一定的作用。
此外,有關大模型能源消耗問題,其實并沒有想象的那么嚴峻。一位資深分析師人士坦言,市場大可不必對大模型的能耗問題過度擔憂。“很多人忽略了一個事實,那就是大模型對算力的需求未來必然會逐漸下降,這意味著能耗也會相應降低。”
比如,微軟在4月12日開源的DeepSpeed-Chat就充分說明了這一點,它可將訓練速度提升15 倍以上,算力成本大大降低。僅憑單個 GPU就能支持一個130億參數的類ChatGPT模型,訓練時間也只需要 1.25 小時。
最后,只能說,變革的齒輪一旦啟動,就很難逆轉。微軟此番對于AI的投入超乎了業界對它的想象。
參考鏈接:
https://www.theverge.com/2023/9/26/23889956/microsoft-next-generation-nuclear-energy-smr-job-hiring
https://www.bilibili.com/read/cv23092171/
https://baijiahao.baidu.com/s?id=1778038558952820880