驚天大瓜！

據(jù)外媒報道，OpenAI超級對齊團隊的2名研究員，因泄露「機密」被正式開除！

而這也是今年3月Sam Altman重掌董事會席位后，OpenAI首次對外公開的人事變動。

被解雇的研究員之一Leopold Aschenbrenner，曾在新成立的超級對齊團隊工作。

同時，他也是OpenAI首席科學家Ilya Sutskever的支持者，OpenAI內斗風波后，Ilya至今尚未在公開場合露面。

另一位被解雇的員工Pavel Izmailov，曾負責推理方面的研究，在安全團隊亦有貢獻。

Leopold Aschenbrenner（左）， Pavel Izmailov（右）

值得一提的是，被解雇的這倆人，都是去年OpenAI超級對齊團隊新論文的作者。

不過，目前尚不清楚，兩位被解雇員工具體泄露了哪些信息。

團隊關鍵人物開除為哪般

OpenAI的發(fā)展情況，仍然是穩(wěn)中向好，勢如破竹，最近一次員工股票出售中，它的估值甚至一度高達860億美元。

而超級對齊團隊（Superalignment），是OpenAI內部一個頗具話題性的部門。

AI發(fā)展到最后，如果成為超級智能，好處是或許能幫我們解決核聚變問題，甚至開拓其他星球，但反過來，這么厲害的它，開始危害人類了怎么辦？

為此，在去年夏天，Ilya Sutskever成立了這個團隊，來研發(fā)控制和指導超級智能的技術。

Aschenbrenner，恰恰就是超級智能對齊團隊的關鍵人物之一。

一個爭議就是：這個團隊真的有存在的必要嗎？

OpenAI內部，員工對此意見不一。

此前的內斗風波，跟這個理念的爭議也脫不了干系。

作為OpenAI聯(lián)合創(chuàng)始人、重大技術突破負責人，Ilya曾與其他董事會成員一起，決定解雇Sam Altman，原因是他缺乏坦誠。

而Altman宮斗歸來、重返CEO之職后，Ilya離開了董事會，從此似乎銷聲匿跡，引來眾多網(wǎng)友的猜疑。

又是「有效利他主義」

耐人尋味的是，事件中的眾多人物，都有「有效利他主義」（Effective Altruism），有著千絲萬縷的關聯(lián)。

對齊團隊關鍵人物Aschenbrenner，便是有效利他主義運動的一員。

該運動強調，我們應該優(yōu)先解決AI潛在的風險，而非追求短期的利潤或生產(chǎn)力增長。

說到這里，就不能不提大名鼎鼎的幣圈大佬、如今淪為階下囚的FTX創(chuàng)始人Sam Bankman-Fried了，他也是有效利他主義的忠實擁躉之一。

19歲時畢業(yè)于哥大的Aschenbrenner，曾在SBF創(chuàng)建的慈善基金Future Fund工作，該基金致力于資助能夠「改善人類長遠前景」的項目。

一年前，Aschenbrenner加入了OpenAI。

而把Altman踢出局的其他董事會成員，也都被發(fā)現(xiàn)和有效利他主義有干系。

比如，Tasha McCauley是Effective Ventures的董事會成員，后者即是有效利他中心的母組織。

而Helen Toner曾在專注于有效利他的Open Philanthropy項目工作。

去年11月Altman重任CEO時，二人也都來開了董事會。

這樣看來，此次Aschenbrenner被開除究竟是因為泄密，還是因為其他原因，就值得探究了。

總之，Sam Altman看來是跟有效利他主義主義的這幫人杠上了——畢竟他們的理念，實在是Altman理想中AGI（甚至ASI）的最大絆腳石。

Leopold Aschenbrenner

Leopold Aschenbrenner還在大三時，便入選了Phi Beta Kappa學會，并被授予John Jay學者稱號。

19歲時，更是以最優(yōu)等成績（Summa cum laude）從哥倫比亞大學順利畢業(yè)。

期間，他不僅獲得了對學術成就授以最高認可的Albert Asher Green獎，并且憑借著「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經(jīng)濟學最佳畢業(yè)論文Romine獎。

此外，他還曾擔任政治學的Robert Y. Shapiro教授和經(jīng)濟學的Joseph E. Stiglitz教授的研究助理。

Leopold Aschenbrenner來自德國，現(xiàn)居風景優(yōu)美的加利福尼亞舊金山，志向是為后代保障自由的福祉。

他的興趣相當廣泛，從第一修正案法律到德國歷史，再到拓撲學，以及人工智能。目前的研究專注于實現(xiàn)從弱到強的AI泛化。

Pavel Izmailov

Pavel Izmailov在莫斯科國立大學獲得數(shù)學與計算機科學學士學位，在康奈爾大學獲得運籌學碩士學位，并在紐約大學獲得計算機科學博士學位。

他的研究興趣廣泛，包括機器學習核心領域內的多個主題，不過主要還是致力于深入理解深度神經(jīng)網(wǎng)絡是如何運作的。

• 提升AI的推理和問題解決能力
• 深度學習模型的可解釋性，涵蓋大語言模型和計算機視覺模型
• 利用AI進行科學發(fā)現(xiàn)
• 大規(guī)模模型的分布外泛化和魯棒性
• 技術AI對齊
• 概率深度學習、不確定性估計和貝葉斯方法

此外，他所在團隊關于貝葉斯模型選擇方面的工作，更是在2022年的ICML上獲得了杰出論文獎。

加入OpenAI之前，他曾在亞馬遜、谷歌等大廠實習

從2025年秋季開始，Izmailov將加入紐約大學，同時擔任Tandon CSE系助理教授和Courant CS系客座教授，并加入NYU CILVR小組。

用GPT-2監(jiān)督GPT-4

在這項研究中，OpenAI團隊提出了一個創(chuàng)新性模型對齊方式——用小模型監(jiān)督大模型。

Leopold Aschenbrenner對此解釋道，直覺告訴我們，超人類人工智能系統(tǒng)應該能「感知」自己是否在安全地操作。

但是，人類能否僅通過「弱監(jiān)督」就從強大的模型中提取出這些概念呢？

在未來，AI系統(tǒng)可以處理極其復雜的任務，比如生成一百萬行代碼。

但是人類需要為其行為設置一些限制，不如「不要撒謊」或「不要逃離服務器」。

而目前，大模型這個黑盒，人類根本無法理解它們的行為，那我們如何實現(xiàn)這些限制？

通常情況下，我們會用人類的標注來訓練AI系統(tǒng)。

但是，相比于那些比我們聰明得多的AI系統(tǒng)，人類只能算是「弱監(jiān)督」。

也就是說，在復雜的問題上，人類提供的只是不完整或有缺陷的標注。

好在，強大的模型已經(jīng)能夠明顯地，表示出像「這個行動是否危險」這樣的概念。

如此一來，人類就可以要求它說出自己知道的內容，包括那些我們無法直接監(jiān)督的復雜情況。

為此，團隊設計了一個巧妙的實驗——當我們用一個小模型來監(jiān)督大模型時，會發(fā)生什么？

強大的模型是否會模仿比它弱的監(jiān)督者，甚至包括它的錯誤呢？還是說，它能夠泛化到更深層次的任務或概念？

結果，他們驚喜地發(fā)現(xiàn)，果然可以利用深度學習的出色泛化能力來獲得幫助。

像GPT-2這種數(shù)到十都不會的弱雞模型，都可以來監(jiān)督能參加高考的GPT-4，讓它恢復到接近完美標注的80%性能。

不過，目前這種方法只在某些情況下有效，所以如果我們只是簡單地應用當前對齊技術（比如RLHF）的話，在超人類模型的擴展上可能遇到困難。

但作者認為，超越弱監(jiān)督者的泛化是一個普遍現(xiàn)象，而人類可以通過簡單的方法大幅提高泛化能力。

針對這項研究，未來探索的方向可能包括：

1. 尋找更好的方法；
2. 加深科學理解：我們何時以及為什么能看到良好的泛化？
3. 采用類似的設置：實驗設置與未來超級對齊問題之間還存在重要的不同——我們能解決這些問題嗎？

這項研究讓作者最興奮一點是，他們可以在對齊未來超人類模型的核心挑戰(zhàn)上，取得迭代的實證進展。

很多以前的對齊工作要么陷入理論，要么雖然是實證的，但并未直接面對核心挑戰(zhàn)。

比如，在對齊領域有一個長期的觀點是「引導」。（不是直接對齊一個非常聰明的模型，而是首先對齊一個稍微聰明的模型，然后用它來對齊一個中等聰明的模型，依此類推）

現(xiàn)在，雖然還遠遠不夠，但OpenAI研究人員已經(jīng)可以直接進行測試了。