圖靈獎大佬向97年小孩哥匯報?小扎1億年薪買新貴,老將痛訴熬夜撿GPU!
起猛了,看到LeCun給Alexandr Wang匯報了!
一個是圖靈三巨頭、多年學術泰斗,一個是靠著數據標注成功晉身億萬富翁的97年小孩哥,這個畫面,實在是過于魔幻了。
為了Wang,小扎砸下了足足143億美元,拿下整個Scale AI 49%股權??梢哉f,是真正的「為了一個人,買下一個公司」。
現在,Scale AI前CEO Alexandr Wang已經飛上枝頭變鳳凰,搖身一變成為Meta的「首席AI官」,并將領導Meta的全新夢之隊「超級智能實驗室」。
小扎砸了上億挖來的OpenAI精兵強將,都將向他匯報。
甚至……包括LeCun?
想到這個可能性,每個人都倒抽一口涼氣。
就在昨天,Alexandr Wang正式發布X,表示自己非常激動能成為Meta的首席AI官,同時轉發了那份華麗麗的11人名單。
HuggingFace聯創兼CEO Clement立刻祝賀道:由于Wang和Nat Friedman的加入,Meta在AI領域的影響力還將提高100倍。
而LeCun,也非常「識時務」地轉發了這條X。
是「人在屋檐下,不得不低頭」的禮節性逢場作戲,還是真心相信?抑或,這是一種「你品,你仔細品」的諷刺?
LeCun內心深處的真實想法,我們不得而知。
至少,在昨天的風口浪尖之上,他發了這樣一條耐人尋味的X:「是首席人工智能科學家,從2018年至今一直都是」。
Meta老員工暗示
小扎偏心過頭了
總之,最近小扎的種種操作,一方面讓不少研究者眨眼間實現了暴富神話,一方面也讓不少兢兢業業的Meta老員工傷透了心。
FAIR實驗室的研究者Zeyuan Zhu表示,因為受限于GPU訪問權限,自己的研究進度比較緩慢,雖然已經取得了非常亮眼的成果。
Zhu表示,這是LLM設計的伽利略時刻。
正如比薩斜塔實驗引發了現代物理學,他們在可控的合成預訓練環境中,揭示了LLM架構的真正局限。
而這,很可能會成為將LLM研究的一個重大分水嶺。
具體來說,在現實世界中的預訓練(規模達千億tokens)中,常常因為數據噪聲太大,掩蓋了模型架構之間的差異。
但在他構建的可控合成數據環境中,推理的深度提升了2倍,高級能力發生了早期涌現,甚至高質量數據可以預測未來模型的設計路徑。
為此,他設計了5個合成預訓練的任務,確保能讓LLM實現真正的思維推理(也即系統1),而非僅僅是CoT思維鏈。
為此,研究者提出了Canon層,這是一種輕量級的橫向殘差結構。它可無縫接入任何模型,卻讓推理能力顯著提升(推理深度提高2-4倍,廣度增加30%),而且開銷極小,具有顛覆性的效果。
為了完成這項研究,Zhu熬夜了一整月,進行了190萬GPU小時的實驗,一度精疲力竭。
Zhu是清華基科班的本科生,隨后在MIT、普林斯頓求學,后成為Meta FAIR Lab的研究者。
這項研究也引起了X上不少研究者的關注,但因為GPU資源受限無法快速推進,實在可惜。
Zhu甚至透露說,為了將實驗進行到底,自己不得不在其他團隊的集群中尋找閑置的GPU,甚至不斷更換GPU,而且為了不耽誤其他團隊的進度,自己的使用時間只能在夜晚和周末。
這件事被Reddit網友們發現后,他們紛紛表示太為FAIR的老員工難過了。
據說FAIR實驗室有30萬塊GPU,究竟都分給誰了呢?
冰火兩重天!
一邊上億年薪,一邊立刻裁員
最近,小扎為了挖走自己的心儀員工,開價也是十分離譜。
據說,最頂尖的研究者,拿到了四年3億美元的薪酬包,光第一年的總薪酬就超過1億。
奧特曼甚至直言,他們「已經從角落里的一群書呆子,變成了至少是科技行業最受矚目的人物」。
不少研究者,轉眼就獲得了NBA球星一般的待遇。
然而,Meta的一位高級工程師表示,自己在Meta的年薪卻僅為85萬美元。
根據Levels.FYI統計的數據,薪酬等級高于這位工程師的人(E7級別)平均年薪為154萬美元
與此同時,另外一些大科技公司的員工,待遇卻可謂是冰火兩重天。
Hyperbolic聯創Yuchen Jin表示,自己在舊金山一家披薩店吃晚餐時,無意中聽到一位大科技公司的工程師說自己剛剛被解雇了。
就在五分鐘后,鄰桌的一個人拍了拍他的肩膀,表示自己也有同樣的經歷,而且「我的經理說是AI搶了我的工作」。
一方面,Meta這類公司為某些員工提供著高達上億美元的薪酬,另一方面,曾經的金字招牌CS專業,如今卻在全美大學中失業率最高的專業中排名第七。
這,就是如今科技圈的怪現狀。
因為實在太魔幻,甚至很多人在質疑這件事的真實性
引用某位網友的話說就是,「對平庸的懲罰從未如此嚴重,但對卓越的回報也從未如此之高」。
可以說,如今的AI圈,已經有了職業體育的趨勢。比如網球能打進全球排名前100,就能過上十分體面的生活,但絕大多數人卻還在為生計發愁,甚至只能去當網球教練。
而且就在今天,微軟又曝出了新一輪裁員潮,將有9000人被裁,影響全球近4%的員工,至此,微軟今年將總共有18000人被裁。
總之,這個職業會繼續遵循帕累托法則。
能真正創造商業價值的頂級開發者,薪酬還會越來越高。但差異性極小的勞動者,很可能就會被AI優化和替代。
總之,舊金山的大科技公司,永遠不會承認自己過度招聘了。如果真的去仔細調研,可能會發現這些高薪招來的人,干的卻是很容易被替代、無關緊要的崗位。
不過,對于已經入了CS門的學生,不去搞AI,前途在哪里呢?
莫非,真的如AI教父Hinton所說,去干水管工?