作者 | 徐杰承

審校 | 云昭

“AI確實可能會殺死人類。”這并不是哪家自媒體為博人眼球而發表的謠言，而是ChatGPT之父、OpenAI CEO山姆·奧爾特曼在今年3月與MIT研究科學家Lex Fridman對話時親口所說的一句話。

如今，這位全世界最受矚目的老板決定采取行動，以阻止自己的預言發生——OpenAI通過7月5日發表于官網的博客表示，公司正在組建一個頂級AI團隊，計劃于四年內解決超級AI的核心技術挑戰并實現對超級AI的完全掌控。

更值得一提的是，為了能更好的完成對新團隊的構建，OpenAI本次甚至開啟了團隊核心崗位的對外招聘通道。目前所公布的三個職位，年薪范圍在24.5至50萬美元不等。

圖片

1、我們創造了過于強大的黑盒

根據OpenAI的說法，超級智能將會是人類有史以來所發明的最具影響力的技術，將能夠幫助人類解決世界上許多最重要的問題。但不可忽視的是，超級智能的巨大力量也同樣危險，可能導致人類喪失許多核心技能，甚至徹底滅絕人類。

雖然就目前而言，即便是最先進的大模型GPT4與超級智能依然相差甚遠，但OpenAI認為超級智能的到來只需要十年甚至更短。并且如今人類在AI方面的技術積累，就連GPT4的推理能力都無法解讀，更不要說在未來控制比人類聰明太多的超級智能。

想要管理超級智能可能帶來的風險，就需要建立相應的治理組織，來解決超級智能AI對齊的問題。然而遺憾的是，我們至今仍然沒有解決方案能夠操縱或控制潛在的超級智能，以防止將來可能發生的危險。

現階段最有效的對齊人工智能的技術之一，正是GPT4中所使用的基于人類反饋的強化學習（RLHF），但依靠這種基于人類監督的AI能力，我們無法可靠地監督比我們聰明太多的人工智能系統。因此目前的對齊技術無法有效覆蓋超級智能，這使得我們急需尋找新的科技突破。

2、OpenAI的三步計劃

對于超級智能的潛在風險，OpenAI也給出了目前他們認為切實可行的解決方案，那就是建立一個人類水平的“自動對齊研究系統”，這樣人類便能夠依靠大量算力擴展研究工作，以實現對超級智能的控制和調整。

而創建這個自動對齊研究系統，則大致需要分為三步，包括開發可擴展的訓練方法；驗證生成模型結果，以及對整個對齊管道進行壓力測試。

1. 為了在人類難以評估的任務上提供訓練信號，OpenAI決定利用人工智能系統協助評估其他人工智能系統。此外，他們希望能夠了解并控制AI模型是如何將監督推廣到人類研究員無法監督的任務上。
2. 在驗證自動對齊系統的一致性方面，可以搜索有問題的模型行為和出現問題的模型的內部結構。
3. 最后，在完成上述的工作后，可以通過訓練未對齊的模型來測試對齊系統的整個管道，并確認系統最終監測到的其余模型的未對齊行為，也就是我們熟知的對抗測試。

OpenAI表示，隨著人們對AI模型不可控行為了解的深入，人類對于AI模型的研究重點可能將會發生實質性的變化，甚至有可能會演變出全新的AI研究領域。而在未來，公司也將隨著研究的深入公開更多的研究路線及研究成果。

3、聯合創始人帶隊的頂級天團

為了能夠更好的構建這個自動對齊系統，OpenAI決定組建一個全新的頂級人工智能專家團隊。團隊將由OpenAI聯合創始人兼首席科學家Ilya Sutskever以及OpenAI對齊團隊負責人Jan Leike共同領導。

OpenAI聯合創始人兼首席科學家Ilya Sutskeve

團隊目前的其余成員，則包括此前在公司內部負責AI對齊的研究人員和工程師，以及來自其他研發團隊的AI專家。并且在接下來的四年里，OpenAI決定將公司此后所獲得算力的20%分配給該團隊，用以完成新系統的訓練。

這將會是一項關乎未來的賭注，而OpenAI最具價值的籌碼便是這個正在組建的超級團隊。公開博客中也提到，正確完成這項任務對實現OpenAI的使命至關重要，希望新團隊包括其他內外部組織都能為之作出貢獻，并最終將可靠的新方法推廣部署到更多領域之中。

4、核心崗位重金招聘

而這篇博客中的另一個重點，則是OpenAI正在開展新團隊核心崗位的對外招聘。博客中提到：“為了解決這個時代最重要的技術問題，我們需要世界上最優秀人才的幫助。如果你已經在機器學習領域取得了成功，這將是你為世界作出巨大貢獻的機會。”

目前所公開的三個核心崗位包括研究工程師（research engineer）、研究科學家（research scientist）以及研究經理（research manager）：

研究工程師：年薪范疇24.5至45萬美元。職責主要為機器學習訓練代碼的編寫；進行機器學習實驗及分析，以及與團隊合作規劃未來實驗。細節方面則包括探索可擴展監督技術；研究管理數據集和模型獎勵信號；預測模型行為以及設計對齊研究方法。

研究科學家：年薪范疇同樣為24.5至45萬美元。崗位職責主要為開發創新的機器學習技術，并為公司的研究愿景作出貢獻。工作包括對齊研究實驗的設計、研究方法總結；管理數據集，以及探索模型行為和設計新的實驗方法。

研究經理：年薪范疇42至50萬美元。主要負責管理由科學家和工程師組成的團隊，整合大模型和超級智能研究成果。該角色需要能夠規劃和執行研究項目，指導團隊成員，以及培養團隊的多元化和包容性文化。

5、終極目標：四年內解決一切

但話說回來，盡管目前新團隊的陣容已然非常強大，OpenAI也在不惜重金招賢納士，但想要完成這項任務的難度也同樣可想而知，就連山姆·奧爾特曼自己也坦言不敢保證最終能取得成功。

然而值得高興的一點是，目前該團隊的許多想法在初步實驗中已經取得了一定成果，AI對齊的衡量標準也在一次次實驗中變得愈加完善，甚至如今一些創新性方法已經被運用到了解決GPT4幻覺的實驗之中。

對于團隊的終極目標，OpenAI表示計劃利用四年時間完成自動對齊系統的構建，并徹底理解和減輕現有AI大模型以及未來可能出現的超級智能的所有技術風險，包括AI濫用、經濟破壞、虛假信息、偏見與歧視，以及人類對AI的過度依賴。

除此之外，OpenAI還提到在未來的研究過程中，除了在技術方面的探索外，新團隊也將積極與外部的跨學科專家及組織進行合作，以確保將技術價值發揮到最大，盡可能解決AI除技術風險之外可能造成的廣泛的人類及社會領域問題。

6、這個時代最重要的課題

歸根結底，無論是目前OpenAI對超級智能的擔憂，還是近來廣被用戶詬病的大模型幻覺問題，落到實處所表現出的其實都是現有技術在AI監管和治理能力上的不足，而這也是當前時代人類最亟待解決的一個課題。

隨著ChatGPT將我們帶入AI2.0時代，人工智能所能創造的價值也被抬升到了一個全新的高度。然而伴隨著技術及應用的不斷下沉，AI所帶來的造假、幻覺、濫用等問題也在極大程度上暴露出了這項技術“雙刃劍”的屬性。

無論是現在還是將來，人工智能戰略的終極追求除了AGI以外，更重要的一點正是完全的可解釋性。正如一位網友在Twitter上所說，如果有一天我們真的創造出了一個過于強大的黑盒，那將給人類帶來極大麻煩。

除此之外，解決AI系統的黑盒問題，也將成為未來科技巨頭們競爭的核心戰場。畢竟誰能夠率先完成這項壯舉，誰就有機會徹底占據現有市場，并將自己的AI產品及業務擴張到更多對手無法企及的藍海領域。

當然，無論出于何種目的考慮，如今的OpenAI已經在這條道路上再次邁出了堅實的一步。與此同時，也讓我們期待未來能夠有更多具備強勁實力的企業加入這場意義重大的遠征。

最后，如果你對于OpenAI新團隊的招聘信息與崗位待遇感興趣 ，可以從以下鏈接了解詳情：https://openai.com/careers/search

參考鏈接：

https://openai.com/blog/introducing-superalignment#JanLeike

https://analyticsindiamag.com/openai-aims-to-achieve-superintelligence-before-2030/