GPT-5倒計(jì)時(shí)！奧特曼踢走Ilya得逞，宮斗驚人內(nèi)幕再曝光

作者：新智元 2024-05-29 13:11:00

解散Ilya的超級(jí)對(duì)齊團(tuán)隊(duì)之后，奧特曼再造了一個(gè)新的「安全委員會(huì)」。OpenAI稱正訓(xùn)練離AGI更近一步的下一代前沿模型，不過在這90天評(píng)估期間，怕是看不到新模型發(fā)布了。

「OpenAI下一代前沿模型，正在訓(xùn)練中」。

經(jīng)歷了幾周前Ilya、安全團(tuán)隊(duì)負(fù)責(zé)人Jan Leike離職后，超級(jí)對(duì)齊團(tuán)隊(duì)也被OpenAI解散。

今天，奧特曼領(lǐng)銜的OpenAI全新的「安全與保障委員會(huì)」官宣成立。

不僅如此，OpenAI預(yù)計(jì)，正在訓(xùn)練的下一代旗艦?zāi)Ｐ停瑢ьI(lǐng)他們通往AGI的道路上邁向新的水平。

OpenAI研究科學(xué)家，德?lián)渲赴l(fā)帖確認(rèn)了新模型訓(xùn)練的消息。

安全委員會(huì)的成立，下一代模型的布局，一切說明了OpenAI已非常接近AGI。

雖然這是板上釘釘?shù)墓俜綄?shí)錘，但只是含糊不清地用了一句「前沿模型」，并沒有確認(rèn)會(huì)不會(huì)是GPT-5或者其他型號(hào)。

模型官宣引起的討論完全搶走了新成立安全委員會(huì)的風(fēng)頭（不知道是不是奧特曼故意安排的）。

下一代模型全網(wǎng)大猜想

GPT-4之后，全網(wǎng)對(duì)于OpenAI發(fā)布的下一代旗艦?zāi)Ｐ鸵軠y(cè)了很久。

不過，這一次，他們提到的前沿模型，究竟是什么？

幾天前，巴黎VivaTech科技活動(dòng)上，OpenAI開發(fā)者體驗(yàn)負(fù)責(zé)人暗示了，今年一定會(huì)發(fā)新模型「GPT Next」，而且網(wǎng)友猜測(cè)預(yù)計(jì)在11月發(fā)布。

大多數(shù)網(wǎng)友紛紛認(rèn)定，這次可能就是GPT-5了。

不過，又有人指出，在今年4月的時(shí)候，GPT-5早已開始了紅隊(duì)測(cè)試。

這完全說明了GPT-5的訓(xùn)練早已完成，OpenAI正在研究的下一代前沿模型絕不可能是GPT-5。

因此，他們訓(xùn)的是GPT-6無疑了。

另一位爆料人Flowers更加確認(rèn)了這一點(diǎn)，OpenAI當(dāng)然沒有剛開始訓(xùn)練GPT-5。

同時(shí)，他還堅(jiān)持表示，也不會(huì)有GPT-6。

當(dāng)有人問道，為什么這么確信OpenAI沒有GPT-6時(shí)，F(xiàn)lowers首次透露出一個(gè)新奇的點(diǎn)子：

「因?yàn)榇竽Ｐ偷陌l(fā)展已經(jīng)接近它們的極限」。

盡管可以通過使用工具、增加功能、提升多模態(tài)能力，擴(kuò)展上下文等方式來改進(jìn)LLM，但這終將不是長久之計(jì)。

但Reddit上有人發(fā)帖否認(rèn)了GPT-5的猜想，甚至新模型應(yīng)該不屬于GPT家族，而是Q*，理由如下：

- GPT-5從12月/1月就開始訓(xùn)練，大致是目前GPT-4o的底層架構(gòu)，不可能再發(fā)布一次

- 如果擴(kuò)展到GPT-6，則需要儲(chǔ)備更多的算力

- 要真正實(shí)現(xiàn)LLM的邏輯推理和長期任務(wù)規(guī)劃能力，就需要訓(xùn)練一個(gè)新模型來操作LLM，而OpenAI一直在研究Q*來解決這個(gè)問題

樓主還提出了Q*方法的大致原理：

- 先提出一個(gè)復(fù)雜的Agent任務(wù)

- 讓GPT生成數(shù)百萬個(gè)潛在解決方案，以樹狀結(jié)構(gòu)表達(dá)，樹中每一個(gè)節(jié)點(diǎn)代表Agent推理的一個(gè)步驟

- 讓GPT對(duì)每個(gè)解決方案評(píng)分

在已經(jīng)有一個(gè)強(qiáng)大GPT模型的基礎(chǔ)上，重復(fù)這個(gè)過程就能創(chuàng)建出一個(gè)龐大的數(shù)據(jù)集，用來訓(xùn)練新模型指導(dǎo)LLM完成長期的推理或規(guī)劃任務(wù)。

這種猜想甚至比GPT-5更激動(dòng)人心，評(píng)論區(qū)就有人回復(fù)說「像Q*這樣的東西即使不大，也能改變整個(gè)游戲」。

也有評(píng)論力挺這種說法，因?yàn)镺penAI經(jīng)常談到Agent。現(xiàn)在可能無法使用內(nèi)置的邏輯推理Agent來訓(xùn)練LLM，但用外置的新模型對(duì)LLM進(jìn)行「指導(dǎo)」是可行的。

算力體量有多大？

下一代前沿模型雖未知，不過微軟Build大會(huì)上，CTO Kevin Scott表示，微軟正在為OpenAI打造「鯨魚」級(jí)別的超算。

當(dāng)時(shí)訓(xùn)練GPT-3使用的是「鯊魚」級(jí)的算力，GPT-4則用上了「虎鯨」級(jí)的算力。

90天倒計(jì)時(shí)開始，全力打造AGI

除了奧特曼本人，「安全與保障委員會(huì)」的董事會(huì)成員還有主席Bret Taylor、Adam D'Angelo、Nicole Seligman，共四個(gè)人。

「安全與保障委員會(huì)」的首要任務(wù)將是，在接下來的90天內(nèi)，評(píng)估改進(jìn)OpenAI現(xiàn)有的AI安全和保障的流程措施。

90天期滿后，他們將與全體董事會(huì)提交一份報(bào)告。

經(jīng)過董事會(huì)的審查之后，OpenAI將公開分享所采納的改進(jìn)措施。

因此，有理由得出結(jié)論，無論下一代「前沿模型」是什么，至少它在90天內(nèi)不會(huì)發(fā)布。

委員會(huì)中，除了董事會(huì)成員，還包括：

OpenAI的技術(shù)和政策專家Aleksander Madry（Preparedness團(tuán)隊(duì)的負(fù)責(zé)人）、Lilian Weng（安全系統(tǒng)負(fù)責(zé)人）、John Schulman（對(duì)齊科學(xué)負(fù)責(zé)人）、Matt Knight（安全負(fù)責(zé)人）和Jakub Pachocki（首席科學(xué)家）。