GPT-5降臨，代號(hào)獵戶座？OpenAI疑用草莓訓(xùn)練，數(shù)學(xué)推理暴漲超越所有模型
OpenAI的下一代旗艦大語(yǔ)言模型，要來(lái)了？
據(jù)悉，新模型代號(hào)Orion（獵戶座），就是能超越GPT-4的下一代模型。
而獵戶座的預(yù)訓(xùn)練數(shù)據(jù)，正是由草莓模型生成的。
而草莓模型驅(qū)動(dòng)的聊天機(jī)器人，很可能就會(huì)在今年秋天上線！
關(guān)于OpenAI的草莓，外媒The Information最近又挖到了新的細(xì)節(jié)。
圖片
根據(jù)The Information的信息，網(wǎng)友推測(cè)：「GPT-4+草莓」會(huì)在秋季推出，之后上線的繼任者「獵戶座」可能就是GPT-5。
圖片
圖片
由于大概率要避開(kāi)11月，因此，獵戶座的發(fā)布時(shí)間要么在之前要么是在12月。
圖片
甚至，AI大V、Hallid.ai聯(lián)創(chuàng)「indigo」提出了一個(gè)大膽的猜測(cè)：獵戶座或許不是GPT-5，而是GPT-6。
圖片
AI大V「Chubby」表示附議。
圖片
最后，Chubby激動(dòng)地表示：所有人都覺(jué)得AI的發(fā)展正在放緩？并不是。在大公司，廚房里的東西正在沸騰！
圖片
網(wǎng)友們紛紛表示：「我們正在見(jiàn)證一種超越我們自己思想的誕生」。
圖片
打開(kāi)Q*之門，一切模型憑此迭代。
圖片
圖片
有人擔(dān)心，如果GPT-5控制整個(gè)互聯(lián)網(wǎng)，人類會(huì)從此迷失。
圖片
所以，獵戶座到底是GPT-5還是GPT-6呢？網(wǎng)友們各持己見(jiàn)。
但有人猜測(cè)，我們目前還沒(méi)有足夠的算力來(lái)達(dá)到GPT-5，更不用說(shuō)GPT-6了。
圖片
透?jìng)€(gè)底，讓美國(guó)政府安心
圖片
今年夏天，Sam Altman的團(tuán)隊(duì)已經(jīng)向美國(guó)國(guó)家安全官員展示了這項(xiàng)技術(shù)。
在安全問(wèn)題日益敏感的情況下，OpenAI的做法也算給大家打了個(gè)樣。
如果政府官員覺(jué)得這項(xiàng)AI不安全怎么辦？那就給他們展示一下。
這次演示，就是OpenAI讓政策制定者覺(jué)得更透明的努力的一部分。畢竟，如果他們感覺(jué)到受到這項(xiàng)技術(shù)的威脅了，很可能就會(huì)給公司帶來(lái)麻煩。
圖片
現(xiàn)在，OpenAI的安全團(tuán)隊(duì)已經(jīng)出走，憤怒的前員工在網(wǎng)上大肆爆料，這種時(shí)候，對(duì)政府官員更加透明的做法，就顯得尤為重要。
The Information表示，這次演示還可能另有目的：跟政府隊(duì)員就如何保護(hù)技術(shù)進(jìn)行對(duì)話，以防止美國(guó)的AI技術(shù)被他國(guó)竊取。
說(shuō)不定，還可以借此機(jī)會(huì)攻擊Meta一波，因?yàn)樗麄兊腁I是開(kāi)放權(quán)重的，其他國(guó)家想要獲取，是非常容易的事。
總之，未來(lái)幾年內(nèi)，AI開(kāi)發(fā)者應(yīng)該會(huì)經(jīng)常出現(xiàn)在舊金山和華盛頓之間的航線上了，因?yàn)樗麄儠r(shí)不時(shí)就需要跟政府官員來(lái)往一下。
草莓：數(shù)學(xué)提升，能解字謎
一個(gè)月前路透社曾報(bào)道，OpenAI內(nèi)部測(cè)試了一種AI，在MATH基準(zhǔn)上得分超過(guò)了90%。
據(jù)猜測(cè)，這個(gè)模型很可能就是草莓。
如今的傳言是，今年秋天OpenAI研究者會(huì)推出代號(hào)為草莓的新AI（也就是之前的Q*），或許會(huì)聊天到ChatGPT之類的聊天機(jī)器人中。
它能做到目前的聊天機(jī)器人無(wú)法做到的很多事情，比如解決未曾遇到的數(shù)學(xué)問(wèn)題，還能解決編程難題。
圖片
在獲得額外「思考」時(shí)間后，草莓模型還可以回答更主觀的問(wèn)題，比如產(chǎn)品的營(yíng)銷策略。
據(jù)悉，在語(yǔ)言任務(wù)上，草莓表現(xiàn)出了強(qiáng)大的能力。比如OpenAI的一位員工曾向同事演示了草莓成功解決《紐約時(shí)報(bào)》的Connections——復(fù)雜的文字謎題。
圖片
OpenAI在LLM和會(huì)話AI領(lǐng)域的領(lǐng)先地位，一直在遭受沖擊，因此OpenAI只能對(duì)外不時(shí)放出點(diǎn)草莓的消息，提升一下自己的存在感。
另外，據(jù)說(shuō)草莓的技術(shù)已經(jīng)顯示出了智能體的能力。
草莓模型似乎能夠自主瀏覽網(wǎng)絡(luò)，像人類研究人員一樣，獨(dú)立上網(wǎng)、進(jìn)行深度研究。
它不僅能生成答案，還能規(guī)劃、執(zhí)行一系列復(fù)雜任務(wù)，還能收集信息。
與之類似的，還有斯坦福的Quiet-STaR。
就像人類會(huì)在說(shuō)話或?qū)懽髑皶?huì)停下來(lái)思考自己的想法一樣，Quiet-STaR可以訓(xùn)練LLM去生成在復(fù)雜推理問(wèn)題中采取步驟的內(nèi)部「思考」，從而做出更好的決策。
圖片
論文地址：https://arxiv.org/abs/2403.09629
眼下，OpenAI的業(yè)務(wù)正以驚人的速度增長(zhǎng)：跟去年相比，今年它向企業(yè)銷售LLM和ChatGPT訂閱的收入大約增加了三倍，達(dá)到了每月2.83億美元，盡管公司每月的虧損可能高于此。
目前，OpenAI的私人估值為860億美元。
Sam Altman還希望為公司籌集更多資金，找到減少損失的方法。
自2019年以來(lái)，OpenAI已經(jīng)從微軟籌集了約130億美元，與這家企業(yè)軟件巨頭的協(xié)議，會(huì)持續(xù)到2030年。
合作條款可能會(huì)發(fā)生變化，包括OpenAI向微軟支付租用云服務(wù)器以開(kāi)發(fā)AI的方式。
云服務(wù)器，是OpenAI最大的成本。
OpenAI的新希望：Orion（獵戶座）
但說(shuō)到底，OpenAI的前景終究還是依賴正在開(kāi)發(fā)的新旗艦——Orion。
圖片
有人能解釋一下為什么OpenAI、谷歌和亞馬遜一直用希臘神話來(lái)命名他們的模型嗎？
去年初推出后，GPT-4已經(jīng)被各家趕超得差不多了，現(xiàn)在GPT-4級(jí)的模型，可以說(shuō)是各家人手一個(gè)。
有人猜，OpenAI可能會(huì)推出一個(gè)比原始草莓模型更小、更簡(jiǎn)化的模型，也就是蒸餾版。
這個(gè)版本被寄望于提升GPT-4和ChatGPT性能，目的是保持和更大模型相同的性能水平，而且更易于操作，成本更低。
另外，還有知情人士透露，OpenAI還在用更大的草莓版本，為Orion的訓(xùn)練生成數(shù)據(jù)。
這種人工合成數(shù)據(jù)，意味著草莓能幫助OpenAI克服獲取高質(zhì)量數(shù)據(jù)的限制，從而可以從現(xiàn)實(shí)世界數(shù)據(jù)（比如從互聯(lián)網(wǎng)獲取的文本或圖像）中訓(xùn)練新模型。
研究人員表示，使用草莓可以幫助Orion減少幻覺(jué)的產(chǎn)生。
這是因?yàn)椋珹I模型是從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的，所以它們看到的復(fù)雜推理的正確示例越多，就越好。
對(duì)此，智能體初創(chuàng)公司Minion AI的CEO兼GitHub Copilot前首席架構(gòu)師Alex Graveley給予了高度厚望。
「想象一個(gè)沒(méi)有幻覺(jué)的模型，一個(gè)你問(wèn)它邏輯難題、它第一次就答對(duì)了的模型。」
「訓(xùn)練數(shù)據(jù)中存在較少的歧義，因此它的猜測(cè)更少。」
The Information猜測(cè)，草莓改進(jìn)的推理能力，可能會(huì)整合到ChatGPT中。這些答案可能會(huì)更準(zhǔn)確，但也可能更慢。
因此，草莓可能并不適合需要即時(shí)即時(shí)響應(yīng)的應(yīng)用。而在GitHub中修復(fù)非關(guān)鍵編碼錯(cuò)誤，則是理想的選擇。
或許，以后的ChatGPT用戶，可以根據(jù)請(qǐng)求的時(shí)間敏感性來(lái)切換草莓模型。
Sam Altman在五月的一次活動(dòng)中曾表示：「我們感覺(jué)，為下一個(gè)模型準(zhǔn)備的數(shù)據(jù)已經(jīng)足夠」。
這個(gè)模型，很可能指的是就Orion。Altman表示：「我們進(jìn)行了各種實(shí)驗(yàn)，包括生成合成數(shù)據(jù)。」
解決復(fù)雜數(shù)學(xué)問(wèn)題：有前景的應(yīng)用
如果說(shuō)目前AI最有前景的應(yīng)用，那解決復(fù)雜數(shù)學(xué)問(wèn)題，必然是其中一個(gè)了。
畢竟，現(xiàn)有的AI在數(shù)學(xué)密集的領(lǐng)域如航空航天和結(jié)構(gòu)工程中，表現(xiàn)實(shí)在不佳。
各種LLM在回答數(shù)學(xué)問(wèn)題時(shí)，往往會(huì)給出各種讓人啼笑皆非的答案。
而且，數(shù)學(xué)推理能力的提升還能幫助AI模型更好地推理會(huì)話查詢，比如用戶的服務(wù)請(qǐng)求。
谷歌和一些初創(chuàng)公司，也在這方面發(fā)力。
上個(gè)月，谷歌DeepMind開(kāi)發(fā)的AI，已經(jīng)能在國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽中擊敗大多數(shù)人類參賽者。
圖片
OpenAI的另一大競(jìng)爭(zhēng)對(duì)手Anthropic祭出的最新模型，也能編寫(xiě)更復(fù)雜的軟件代碼，還能回答有關(guān)圖表和圖形的問(wèn)題，這些都要?dú)w功于它推理能力的改進(jìn)。
圖片
還有一些初創(chuàng)公司為了提高模型的推理能力，采用了一種廉價(jià)的技巧，將問(wèn)題分解為更小的步驟，盡管這些方法速度慢且成本高昂。
無(wú)論Strawberry是否會(huì)作為產(chǎn)品推出，人們對(duì)Orion的期望都不會(huì)低了，因?yàn)镺penAI會(huì)力求繼續(xù)保持領(lǐng)先地位，同時(shí)還要保證顯著的的收入增長(zhǎng)。
OpenAI的領(lǐng)先者優(yōu)勢(shì)，已經(jīng)不明顯了。
雖然在5月宣布了「Her」的版本，但谷歌卻搶先推出了AI驅(qū)動(dòng)的語(yǔ)音助手，后者也足夠靈活，還能處理用戶的打斷，和突然變化的話題。
而Lmsys Chatbot Arena等大模型排行榜上，谷歌、xAI、Anthropic和Meta的模型也都在趕上OpenAI的步伐。
圖片
Ilya看到了什么？
值得一提的是，「草莓之父」，其實(shí)就是已經(jīng)離職了的OpenAI的首席科學(xué)家Ilya Sutskever。
幾年前，Ilya啟動(dòng)了一個(gè)項(xiàng)目，在研究過(guò)程中，誕生了草莓。
而在Ilya離職之前，OpenAI的研究人員Jakub Pachocki和Szymon Sidor，就已經(jīng)在Ilya的工作基礎(chǔ)上開(kāi)發(fā)了一個(gè)新的數(shù)學(xué)求解模型Q*，這讓不少關(guān)注AI安全的研究人員感到擔(dān)憂。
另外，在去年Q*的前期準(zhǔn)備中，OpenAI研究人員開(kāi)發(fā)了一種被稱為「測(cè)試時(shí)計(jì)算」的概念變體，目的是提升LLM的問(wèn)題解決能力。
這樣，LLM就會(huì)花更多時(shí)間考慮被要求執(zhí)行的命令，或問(wèn)題的各個(gè)部分。
當(dāng)時(shí)，Ilya發(fā)表了一篇與這項(xiàng)工作相關(guān)的博客。
圖片
博客地址：https://openai.com/index/improving-mathematical-reasoning-with-process-supervision/
在博客中，模型解決了數(shù)個(gè)有難度的數(shù)學(xué)問(wèn)題。
比如在這道有挑戰(zhàn)性的三角函數(shù)題中，需要連續(xù)應(yīng)用幾個(gè)并不明顯的等式。
圖片
圖片
在這道題，GPT-4成功執(zhí)行了一系列復(fù)雜的多項(xiàng)式分解。
圖片
步驟5中使用的Sophie-Germain恒等式是重要的一步，可以被認(rèn)為極有洞察力。
圖片
在這道題的步驟7和8中，GPT-4開(kāi)始執(zhí)行猜測(cè)和檢查。
圖片
這也是模型可能產(chǎn)生幻覺(jué)的常見(jiàn)情況，LLM會(huì)聲稱某個(gè)特定的猜測(cè)是成功的，但實(shí)際上并不成功。
在這種情況下，獎(jiǎng)勵(lì)模型會(huì)驗(yàn)證每個(gè)步驟，并確定思路是否正確。
圖片
在最后這道題中，模型成功地應(yīng)用了多個(gè)三角恒等式，來(lái)簡(jiǎn)化了表達(dá)式。
圖片
圖片
或許，我們能從中窺見(jiàn)草莓和Orion的端倪。
