OpenAI 的 Sora 又一次出圈，掩蓋其它新的 AI 產(chǎn)品的鋒芒，包括幾乎同期發(fā)布的Google 的 Gemini 1.5 和 Meta 的 V-JEPA。很多 AI 從業(yè)者為此大抱不平，聲稱 “被Sora奪走風(fēng)頭的 Gemini 被低估了！” 特別是 Google 這次推出的 Gemini 1.5 Pro 是一種多模態(tài)大模型（涉及文本、視頻、音頻），性能水平與谷歌迄今為止最大的模型 1.0 Ultra 類似，并引入了長(zhǎng)上下文理解方面的突破性實(shí)驗(yàn)特征。它能夠穩(wěn)定處理高達(dá) 100 萬(wàn) Tokens（相當(dāng)于1小時(shí)的視頻和超過(guò) 3 萬(wàn)行代碼），且極限為1000萬(wàn) Tokens（相當(dāng)于《指環(huán)王》三部曲），創(chuàng)下了最長(zhǎng)上下文窗口的紀(jì)錄。

近期，Gemini 背后的推手 Google DeepMind 的 CEO Demis Hassabis 高調(diào)地接受了著名的科技播客主持人 Dwarkesh Patel 的深度專訪，從 AlphaGo，AlphaFold,  RT-2, 聊到 Gemini，意猶未盡地爆料很多圈內(nèi)特別是 DeepMind 背后的故事。他坦率地回答了一系列大家關(guān)心的問(wèn)題，包括 Scaling-Law 為什么是一種藝術(shù)形式？Gemini 是怎樣訓(xùn)練的？為什么需要在大型語(yǔ)言模型之上添加搜索、規(guī)劃和 AlphaZero 類型的訓(xùn)練？既然大模型有規(guī)模優(yōu)勢(shì)，為什么訓(xùn)練 Gemini 模型的規(guī)模不再增加一個(gè)量級(jí)？為什么機(jī)器人學(xué)習(xí)訓(xùn)練數(shù)據(jù)貧乏是一種機(jī)會(huì)？怎樣看待大模型的開(kāi)源？怎樣確保壞人無(wú)法竊取大模型的權(quán)重？怎樣保證超級(jí)智能人工智能的對(duì)齊方式正確，并實(shí)現(xiàn)智能爆炸？什么原因讓他興奮地預(yù)測(cè) AGI (通用人工智能) 離我們只有不到十年了？如需轉(zhuǎn)載，請(qǐng)聯(lián)系我們（ID：15937102830）。

這是我與谷歌 DeepMind CEO Demis Hassabis 的一集節(jié)目。

我們討論了：

- 智能的本質(zhì)

- LLMs 上的強(qiáng)化學(xué)習(xí)

- scaling和對(duì)齊

- 時(shí)間線和智能爆炸

- Gemini 訓(xùn)練

- 超級(jí)人工智能的治理

- 權(quán)重、開(kāi)放源代碼和安全性

- 多模態(tài)的進(jìn)一步進(jìn)展

- 走進(jìn)谷歌 DeepMind

智能的本質(zhì)

Dwarkesh：好的。今天，能夠與DeepMind CEO Demis Hassabis 進(jìn)行交流，真是一種真正的榮幸。Demis歡迎來(lái)到這個(gè)播客節(jié)目。?

Demis：謝謝邀請(qǐng)。

Dwarkesh：首先問(wèn)題是，考慮到你的神經(jīng)科學(xué)背景，你是如何思考智能的？具體來(lái)說(shuō)，你認(rèn)為智能是一個(gè)更高級(jí)的通用推理電路，還是成千上萬(wàn)個(gè)獨(dú)立的子技能和啟發(fā)式的組合？?

Demis：嗯，這很有趣，因?yàn)橹悄苁侨绱藦V泛，我們使用它的方式又是如此普遍。我認(rèn)為這表明，大腦處理我們周圍世界的一些高級(jí)共同的東西，可能有一些共同的算法主題。當(dāng)然，大腦中還有專門(mén)做特定事情的部分，但我認(rèn)為可能有一些潛在的原則支撐著所有這些。?

Dwarkesh：是的。然而，在這些LLM 中，當(dāng)你在任何特定領(lǐng)域提供大量數(shù)據(jù)時(shí)，它們往往在該領(lǐng)域中獲得了不對(duì)稱的改善。我們不應(yīng)該期望在所有不同領(lǐng)域都有一種普遍的改進(jìn)嗎？?

Demis：首先，我認(rèn)為當(dāng)你在特定領(lǐng)域中取得進(jìn)步時(shí)，有時(shí)確實(shí)會(huì)在其他領(lǐng)域獲得令人驚訝的改善。所以，例如，當(dāng)這些大型模型在編碼方面取得進(jìn)步時(shí)，這實(shí)際上可以改善它們的一般推理能力。因此，有一些證據(jù)表明有一些轉(zhuǎn)移。但同樣，這也是人類大腦學(xué)習(xí)的方式。如果我們體驗(yàn)和練習(xí)了很多象棋或?qū)懽鳎蛘咂渌魏螙|西，我們也傾向于專門(mén)化并在特定領(lǐng)域變得更好，盡管我們使用的是一般的學(xué)習(xí)技術(shù)和一般的學(xué)習(xí)系統(tǒng)來(lái)在該領(lǐng)域變得出色。?

Dwarkesh：是的。對(duì)于你來(lái)說(shuō)，最令人驚訝的這種轉(zhuǎn)移的例子是什么？比如你是否看到語(yǔ)言和代碼，或者圖像和文本之間的改進(jìn)？?

Demis：是的，我認(rèn)為可能是的。我希望我們將看到更多這種轉(zhuǎn)移，但我認(rèn)為像在編碼和數(shù)學(xué)方面變得更好，然后總體上改進(jìn)你的推理能力。這就是我們作為人類學(xué)習(xí)者的方式。但我認(rèn)為看到這些人工系統(tǒng)中發(fā)生這種情況是很有趣的。?

Dwarkesh：你能否看到某種機(jī)械方式，比如在語(yǔ)言和代碼的例子中，有一個(gè)在神經(jīng)網(wǎng)絡(luò)中同時(shí)對(duì)語(yǔ)言和代碼都有所改善的地方？還是說(shuō)這個(gè)問(wèn)題太復(fù)雜了？?

Demis：是的，我認(rèn)為我們的分析技術(shù)還不夠成熟，無(wú)法專注于這一點(diǎn)。我認(rèn)為這實(shí)際上是需要進(jìn)行更多研究的領(lǐng)域之一，即對(duì)這些系統(tǒng)構(gòu)建的表示進(jìn)行機(jī)械性分析。我有時(shí)候喜歡稱之為虛擬大腦分析。在某種程度上，這有點(diǎn)像對(duì)真實(shí)大腦進(jìn)行 fMRI 或單細(xì)胞記錄。對(duì)于這些人工智能的類似分析技術(shù)是什么？在這方面有很多很棒的工作正在進(jìn)行。像 Chris Olah 這樣的人，我真的很喜歡他的工作。還有很多計(jì)算神經(jīng)科學(xué)的技術(shù)，我認(rèn)為可以用來(lái)分析我們正在構(gòu)建的這些當(dāng)前系統(tǒng)。事實(shí)上，我試圖鼓勵(lì)很多我的計(jì)算神經(jīng)科學(xué)朋友開(kāi)始朝著這個(gè)方向思考，并將他們的專業(yè)知識(shí)應(yīng)用于這些大型模型。?

Dwarkesh：是的。在你的神經(jīng)科學(xué)背景下，其他人工智能研究人員對(duì)人類智能的理解中有些什么不明白的，而你卻有一些見(jiàn)解？?

Demis：我認(rèn)為神經(jīng)科學(xué)已經(jīng)做出了很大的貢獻(xiàn)。如果你回顧一下過(guò)去大約 10-20 年，至少我們已經(jīng)在此領(lǐng)域工作了這么長(zhǎng)時(shí)間了，而我自己已經(jīng)思考了 30 多年。我認(rèn)為在人工智能新浪潮的早期階段，神經(jīng)科學(xué)提供了許多有趣的方向性線索。例如，將強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來(lái)。我們做過(guò)的一些開(kāi)創(chuàng)性工作，比如經(jīng)驗(yàn)回放，甚至是注意力的概念，這些都變得非常重要。很多最初的靈感都來(lái)自對(duì)大腦如何工作的一些了解，當(dāng)然，并非具體細(xì)節(jié)，一個(gè)是工程系統(tǒng)，另一個(gè)是自然系統(tǒng)。因此，這并不是關(guān)于具體算法的一一對(duì)應(yīng)映射，而更多地是一種啟發(fā)性的方向，也許是一些關(guān)于架構(gòu)、算法或表征性思想的想法。因?yàn)槟阒溃竽X是普通智能可能性的現(xiàn)實(shí)證明。我認(rèn)為人類努力的歷史就是一旦你知道某事是可能的，就更容易朝著那個(gè)方向努力，因?yàn)槟阒肋@只是一個(gè)努力的問(wèn)題，而不是一個(gè)是否的問(wèn)題。這使得你能夠更快地取得進(jìn)步。所以我認(rèn)為，至少在某種程度上，神經(jīng)科學(xué)激發(fā)了我們今天的很多思考。但是在前進(jìn)方面，我認(rèn)為仍然有很多有趣的事情需要解決，尤其是關(guān)于規(guī)劃。大腦如何構(gòu)建正確的世界模型？例如，我研究了大腦如何進(jìn)行想象，或者你可以將其視為心理模擬。那么，我們?nèi)绾蝿?chuàng)建豐富的視覺(jué)空間模擬世界，以便我們更好地進(jìn)行規(guī)劃？?

RL 在 LLMs 之上

Dwarkesh：是的，實(shí)際上，我很好奇你如何認(rèn)為這將與 LLMs 交互。顯然，DeepMind 處于前沿，多年來(lái)一直是如此，擁有諸如 AlphaZero 等系統(tǒng)，這些系統(tǒng)可以思考不同的步驟以達(dá)到一個(gè)目標(biāo)。LLMs 是否有可能實(shí)現(xiàn)這種樹(shù)搜索的方式？你是如何考慮這個(gè)問(wèn)題的？?

Demis：在我看來(lái)，我認(rèn)為這是一個(gè)非常有前途的方向。所以我們必須繼續(xù)改進(jìn)大型模型，必須繼續(xù)使它們成為對(duì)世界更加準(zhǔn)確的預(yù)測(cè)器。因此，實(shí)際上，這意味著使它們更可靠的世界模型。這顯然是 AGI 系統(tǒng)的一個(gè)必要組成部分，但我認(rèn)為可能不是足夠的組成部分。然后在此基礎(chǔ)上，我們正在研究諸如 AlphaZero 等規(guī)劃?rùn)C(jī)制，利用該模型制定具體的計(jì)劃，以實(shí)現(xiàn)世界上的某些目標(biāo)，并且可能將思維鏈或推理線連接在一起，并且可能使用搜索來(lái)探索可能性的大空間。我認(rèn)為這在我們當(dāng)前的大型模型中是缺失的。?

Dwarkesh：你如何跨越這種方法通常需要的巨大計(jì)算量？所以即使 AlphaGo 系統(tǒng)也是一種相當(dāng)昂貴的系統(tǒng)，因?yàn)槟惚仨氃跇?shù)的每個(gè)節(jié)點(diǎn)上運(yùn)行一個(gè) LLM。你預(yù)計(jì)這將如何變得更加高效？?

Demis：一個(gè)方面是摩爾定律往往會(huì)有所幫助。每年，當(dāng)然會(huì)增加更多的計(jì)算量，但我們專注于高效的、樣本高效的方法，并重新利用現(xiàn)有數(shù)據(jù)，比如經(jīng)驗(yàn)回放，還有只是尋找更有效的方法。我的意思是，你的世界模型越好，你的搜索就越有效。所以，我總是拿 AlphaGo 舉個(gè)例子，我們的系統(tǒng)可以下圍棋、國(guó)際象棋和任何游戲，它在所有這些游戲中都比世界冠軍級(jí)別的人類選手強(qiáng)大，并且使用的搜索比蠻力方法（如 Deep Blue）要少得多，比如說(shuō)下國(guó)際象棋。傳統(tǒng)的蠻力系統(tǒng)，比如 Deep Blue，可能會(huì)檢查每個(gè)決策可能的移動(dòng)數(shù)百萬(wàn)次。AlphaGo 大約只檢查了數(shù)萬(wàn)個(gè)可能的位置，以便決定下一步該移動(dòng)什么。但是，人類大師、世界冠軍可能只會(huì)看幾百個(gè)移動(dòng)，甚至是頂尖的移動(dòng)，以便做出他們非常好的決定。所以這表明，顯然，蠻力系統(tǒng)除了關(guān)于游戲的啟發(fā)式之外，沒(méi)有任何真正的模型。AlphaGo 具有相當(dāng)不錯(cuò)的模型，但是頂尖的人類選手對(duì)圍棋或國(guó)際象棋有更豐富、更準(zhǔn)確的模型。因此，這使他們能夠在非常少的搜索中做出世界級(jí)的決定。所以我認(rèn)為存在一種權(quán)衡。如果你改進(jìn)模型，那么我認(rèn)為你的搜索可以更有效，因此你可以在搜索中取得更大的進(jìn)展。?

Dwarkesh：是的，我有兩個(gè)基于此的問(wèn)題。首先是關(guān)于 AlphaGo，你有一個(gè)非常具體的贏得條件，就是最終我是否贏得了這場(chǎng)圍棋比賽？你可以在此基礎(chǔ)上進(jìn)行強(qiáng)化。當(dāng)你只是考慮一個(gè) LLM 提出的想法時(shí)，你認(rèn)為最終會(huì)有這種能力來(lái)區(qū)分，是否這是一個(gè)值得獎(jiǎng)勵(lì)的好事情？?

Demis：當(dāng)然，這就是為什么我們首創(chuàng)，并且 DeepMind 以使用游戲作為驗(yàn)證場(chǎng)地而聞名，部分原因是顯然在這個(gè)領(lǐng)域進(jìn)行研究是高效的。但另一個(gè)原因顯然是，很容易指定一個(gè)獎(jiǎng)勵(lì)函數(shù)，贏得游戲或提高分?jǐn)?shù)之類的東西通常內(nèi)置在大多數(shù)游戲中。因此，這是真實(shí)世界系統(tǒng)的挑戰(zhàn)之一，如何定義正確的目標(biāo)函數(shù)、正確的獎(jiǎng)勵(lì)函數(shù)和正確的目標(biāo)，并以一種通用但足夠具體的方式指定它們，并實(shí)際上將系統(tǒng)引向正確的方向。對(duì)于真實(shí)世界的問(wèn)題，這可能要困難得多。但實(shí)際上，如果你考慮一下，即使在科學(xué)問(wèn)題中，通常也有一些你可以指定的目標(biāo)。?

Demis：是的，好吧，我認(rèn)為情況是不同的，因?yàn)槲覀兊拇竽X并不是為了進(jìn)行蒙特卡羅樹(shù)搜索而構(gòu)建的，對(duì)吧？這不是我們的有機(jī)大腦的工作方式。因此，我認(rèn)為為了彌補(bǔ)這一點(diǎn)，像愛(ài)因斯坦這樣的人就會(huì)產(chǎn)生，他們的大腦利用了他們的直覺(jué)，我們也許會(huì)談到直覺(jué)是什么，但是他們利用了他們的知識(shí)和經(jīng)驗(yàn)來(lái)構(gòu)建極其準(zhǔn)確的模型，就愛(ài)因斯坦而言，包括這些心理模擬。我認(rèn)為如果你讀一讀愛(ài)因斯坦是如何想出這些東西的，他過(guò)去會(huì)進(jìn)行可視化，并且真正地感受這些物理系統(tǒng)應(yīng)該是什么樣子，不僅僅是數(shù)學(xué)，而是對(duì)它們?cè)诂F(xiàn)實(shí)中可能是什么樣子有了一種直觀的感覺(jué)。這使得他能夠想到這些當(dāng)時(shí)非常奇特的想法。因此，我認(rèn)為我們正在構(gòu)建的世界模型的復(fù)雜性，如果你想象一下，你的世界模型可以將你帶到你正在搜索的樹(shù)中的某個(gè)節(jié)點(diǎn)，然后你只需在那個(gè)葉節(jié)點(diǎn)周圍做一點(diǎn)點(diǎn)搜索，這會(huì)帶你到這些原始的地方。但是顯然，如果你的模型和你對(duì)該模型的判斷非常好，那么你就可以更準(zhǔn)確地選擇應(yīng)該用搜索擴(kuò)展的葉節(jié)點(diǎn)。因此，總體來(lái)說(shuō)，你會(huì)進(jìn)行更少的搜索。我的意思是，沒(méi)有任何人能夠?qū)θ魏沃匾目臻g進(jìn)行蠻力搜索。?

Dwarkesh：是的。一個(gè)重要的開(kāi)放性問(wèn)題是，RL 是否會(huì)使這些模型利用自我對(duì)弈的合成數(shù)據(jù)來(lái)克服數(shù)據(jù)瓶頸。聽(tīng)起來(lái)你對(duì)此持樂(lè)觀態(tài)度。?

Demis：是的，我對(duì)此非常樂(lè)觀。首先，我認(rèn)為還有更多的數(shù)據(jù)可以使用，特別是如果考慮到多模式、視頻等等。顯然，社會(huì)不斷增加更多的數(shù)據(jù)。但我認(rèn)為有很多可能性可以創(chuàng)造合成數(shù)據(jù)。我們正在以不同的方式進(jìn)行研究，部分是通過(guò)模擬，例如使用非常逼真的游戲環(huán)境來(lái)生成逼真的數(shù)據(jù)，但也包括自我對(duì)弈。這是系統(tǒng)相互作用或相互交流的地方，在某種程度上，對(duì)我們來(lái)說(shuō)效果非常好，比如 AlphaGo 和 AlphaZero，我們讓系統(tǒng)相互對(duì)弈，并從彼此的錯(cuò)誤中學(xué)習(xí)并積累知識(shí)。我認(rèn)為有一些很好的類比。這有點(diǎn)復(fù)雜，但要構(gòu)建一個(gè)普遍的世界。?

Dwarkesh：數(shù)據(jù)，你如何使這些模型產(chǎn)生的合成數(shù)據(jù)不僅僅是他們已經(jīng)在數(shù)據(jù)集中擁有的東西的更多，而是一些他們以前沒(méi)有見(jiàn)過(guò)的東西，你知道我是什么意思嗎？以實(shí)際改善能力。?

Demis：是的。所以，在這方面，我認(rèn)為需要整個(gè)科學(xué)，我認(rèn)為我們?nèi)蕴幱谄鸩诫A段，即數(shù)據(jù)策劃和數(shù)據(jù)分析。因此，實(shí)際上分析你的數(shù)據(jù)分布中存在的漏洞是重要的，這對(duì)于公平性、偏見(jiàn)和其他事項(xiàng)至關(guān)重要。從系統(tǒng)中去除這些是嘗試確保你的數(shù)據(jù)集代表了你試圖學(xué)習(xí)的分布的重要手段。而且有許多技巧可以使用，比如加權(quán)或重播數(shù)據(jù)的某些部分。或者你可以想象，如果你確定了數(shù)據(jù)集中的某些空白，那么就可以利用你的合成生成能力來(lái)填補(bǔ)這些空白。?

Dwarkesh：是的。現(xiàn)在人們正在關(guān)注DeepMind 多年前做過(guò)的 RL 方面的東西。有沒(méi)有早期的研究方向或者是以前做過(guò)的事情，但人們只是沒(méi)有關(guān)注的，你認(rèn)為會(huì)成為重要的事情？?

Demis：對(duì)。?

Dwarkesh：就像有一段時(shí)間人們沒(méi)有注意到擴(kuò)展。現(xiàn)在有什么是完全被低估的嗎？?

Demis：實(shí)際上，我認(rèn)為過(guò)去幾十年來(lái)的歷史一直是事物時(shí)而流行，時(shí)而不流行。我覺(jué)得大約五年前，當(dāng)我們首次使用 AlphaGo 進(jìn)行開(kāi)拓時(shí)，甚至在那之前，使用 DQN 進(jìn)行開(kāi)拓時(shí)，這是第一個(gè)在 Atari 上工作的系統(tǒng)，我們的第一個(gè)大型系統(tǒng)，現(xiàn)在已經(jīng)超過(guò)十年了，它擴(kuò)展了 Q 學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)來(lái)處理。將其與深度學(xué)習(xí)相結(jié)合，創(chuàng)建深度強(qiáng)化學(xué)習(xí)，然后使用它來(lái)擴(kuò)展到完成一些相當(dāng)復(fù)雜的任務(wù)，比如僅僅通過(guò)像素來(lái)玩 Atari 游戲。我實(shí)際上認(rèn)為很多這些想法需要再次回來(lái)。正如我們之前討論的那樣，將其與新的大型模型和大型多模式模型的新進(jìn)展結(jié)合起來(lái)，這顯然也非常令人興奮。因此，我認(rèn)為有很多潛力將一些舊想法與新想法結(jié)合起來(lái)。?

Dwarkesh：是否有可能，AGI 最終會(huì)來(lái)自某個(gè)地方？?jī)H僅是一個(gè)純粹的 RL 方法。從我們討論的方式來(lái)看，聽(tīng)起來(lái) LLM 將形成正確的先驗(yàn)知識(shí)，然后在其上進(jìn)行這種樹(shù)搜索。還是完全可能，完全沒(méi)有先驗(yàn)知識(shí)、沒(méi)有數(shù)據(jù)，完全從頭開(kāi)始建立所有知識(shí)？?

Demis：從理論上講，我認(rèn)為沒(méi)有理由不去全力以赴。谷歌 DeepMind 這里有一些人，以及 RL 社區(qū)的一些人在做這方面的工作，完全不考慮先驗(yàn)知識(shí)、沒(méi)有數(shù)據(jù)，只是從頭開(kāi)始建立所有知識(shí)。我認(rèn)為這是有價(jià)值的，因?yàn)楫?dāng)然，這些想法和算法也應(yīng)該適用于當(dāng)你擁有一些知識(shí)時(shí)。但話雖如此，我認(rèn)為大概我的打賭是，達(dá)到 AGI 的最快方式，最有可能的合理方式是利用當(dāng)前世界上關(guān)于諸如網(wǎng)絡(luò)之類的知識(shí)，我們已經(jīng)收集到的知識(shí)，以及我們有這些可擴(kuò)展的算法，比如 transformers，能夠攝取所有這些信息。我不明白為什么你不會(huì)從一個(gè)模型開(kāi)始作為一種先驗(yàn)，或者作為一個(gè)用來(lái)建立和預(yù)測(cè)的起點(diǎn)。我只是認(rèn)為不利用這一點(diǎn)是沒(méi)有道理的。因此，我的打賭是最終的 AGI 系統(tǒng)將把這些大型多模態(tài)模型作為整體解決方案的一部分，但可能僅僅依靠它們本身是不夠的。你需要在其上進(jìn)行額外的規(guī)劃搜索。?

Scaling 和對(duì)齊

Dwarkesh： 好的，這聽(tīng)起來(lái)像是我即將問(wèn)的問(wèn)題的答案，我的問(wèn)題是，作為一個(gè)長(zhǎng)期從事這個(gè)領(lǐng)域的人，見(jiàn)證了不同的趨勢(shì)的興起和衰落，你是否認(rèn)為強(qiáng)版本的擴(kuò)展假設(shè)是正確的，以及它哪些方面是錯(cuò)誤的？就是你只需要在廣泛的數(shù)據(jù)分布上投入足夠的計(jì)算資源，你就能得到智能。

Demis：是的。看，我認(rèn)為這現(xiàn)在是一個(gè)經(jīng)驗(yàn)性的問(wèn)題。所以我認(rèn)為對(duì)于幾乎所有人來(lái)說(shuō)，包括最早研究擴(kuò)展假設(shè)的人，它的發(fā)展到了何種程度是相當(dāng)令人驚訝的。在某種程度上，我看著今天的大型模型，我認(rèn)為它們幾乎是不合理地有效。我認(rèn)為一些屬性令人驚訝，比如，明顯地，在我看來(lái)，它具有某種形式的概念和抽象等東西。我認(rèn)為，如果我們是在五年前以上談?wù)摚視?huì)告訴你，也許我們需要一種額外的算法突破才能做到這一點(diǎn)。也許更像大腦的工作方式。我認(rèn)為如果我們想要明確的抽象概念，像是清晰的概念，那么這仍然是正確的，但似乎這些系統(tǒng)可以隱含地學(xué)習(xí)到這一點(diǎn)。另一個(gè)非常有趣的，我認(rèn)為是意料之外的事情是，即使這些系統(tǒng)沒(méi)有多模式地體驗(yàn)世界，或者至少直到最近，當(dāng)我們擁有多模態(tài)模型時(shí)。從語(yǔ)言中建立信息和模型的數(shù)量是令人驚訝的。我想我對(duì)為什么會(huì)這樣有一些假設(shè)。我認(rèn)為我們通過(guò) RLHF 反饋系統(tǒng)獲得了一些基礎(chǔ)，因?yàn)轱@然，人類的評(píng)價(jià)者根據(jù)定義是有基礎(chǔ)的人。我們都根植于現(xiàn)實(shí)。因此，我們的反饋也是基于現(xiàn)實(shí)的。因此，也許通過(guò)這種方式來(lái)獲得一些基礎(chǔ)。也許語(yǔ)言包含更多的基礎(chǔ)，如果你能夠攝取所有的話，那么比我們之前認(rèn)為的，或者語(yǔ)言學(xué)家之前認(rèn)為的，要多。因此，這實(shí)際上是一些非常有趣的哲學(xué)問(wèn)題。人們甚至還沒(méi)有真正觸及表面。看到已經(jīng)取得的進(jìn)步，想象下一步會(huì)走向何方是相當(dāng)有趣的。但就你關(guān)于大型模型的問(wèn)題而言，我認(rèn)為我們必須盡可能地推動(dòng)擴(kuò)展，這也是我們目前正在做的。這是一個(gè)經(jīng)驗(yàn)性的問(wèn)題，它是否會(huì)達(dá)到一個(gè)漸近點(diǎn)或者一個(gè)磚墻，不同的人對(duì)此有不同的爭(zhēng)論。但實(shí)際上，我認(rèn)為我們應(yīng)該去測(cè)試。我認(rèn)為沒(méi)有人知道。但與此同時(shí)，我們也應(yīng)該加倍創(chuàng)新和發(fā)明。這是谷歌研究、DeepMind 和谷歌大腦，我們?cè)谶^(guò)去的十年里開(kāi)創(chuàng)了許多東西的基本工作。這是我們的傳家寶。你可以把我們一半的工作看作是做擴(kuò)展，一半的工作是發(fā)明下一個(gè)架構(gòu)、下一個(gè)算法，這些將是必需的，知道你有這個(gè)規(guī)模越來(lái)越大的模型正在到來(lái)。所以我現(xiàn)在的打賭，但這是一個(gè)寬松的打賭，是你兩者都需要。但我認(rèn)為你必須盡可能地推動(dòng)兩者。我們處于一個(gè)幸運(yùn)的位置，我們可以這樣做。?

Dwarkesh：是的。我想再問(wèn)一下關(guān)于基礎(chǔ)的問(wèn)題。你可以想象兩件事情可能會(huì)改變，這會(huì)使基礎(chǔ)更加困難。一個(gè)是隨著這些模型變得更加智能，它們將能夠在我們無(wú)法生成足夠的人類標(biāo)簽的領(lǐng)域中運(yùn)作，僅僅因?yàn)槲覀儾粔蚵斆鳌?duì)吧。所以如果它做了一百萬(wàn)行的拉取請(qǐng)求，我們?nèi)绾胃嬖V它？像這是在我們道德和我們想要的最終目標(biāo)的約束之內(nèi)，而這不是。另一個(gè)是，聽(tīng)起來(lái)你是在說(shuō)更多的計(jì)算資源。到目前為止，我們一直在進(jìn)行下一個(gè)標(biāo)記的預(yù)測(cè)，從某種意義上說(shuō)，它是一種防護(hù)，因?yàn)槟惚仨毾袢祟愐粯诱f(shuō)話和思考。現(xiàn)在，如果額外的計(jì)算資源將以強(qiáng)化學(xué)習(xí)的形式出現(xiàn)，那么就像達(dá)到目標(biāo)一樣，我們真的無(wú)法追蹤你是如何做到的。當(dāng)這兩者結(jié)合在一起時(shí)，你對(duì)基礎(chǔ)消失的擔(dān)憂有多大？?

Demis：好吧，看，我認(rèn)為如果沒(méi)有得到適當(dāng)?shù)幕A(chǔ)，系統(tǒng)就無(wú)法正確地實(shí)現(xiàn)這些目標(biāo)。對(duì)吧。我想，在某種程度上，你必須具有這種基礎(chǔ)，或者至少有一些，才能使系統(tǒng)實(shí)際上在現(xiàn)實(shí)世界中實(shí)現(xiàn)目標(biāo)。我實(shí)際上認(rèn)為，隨著這些系統(tǒng)和 Gemini 等系統(tǒng)變得更加多模態(tài)，我們開(kāi)始攝取諸如視頻和視聽(tīng)數(shù)據(jù)以及文本數(shù)據(jù)之類的事物，然后系統(tǒng)開(kāi)始將這些事物聯(lián)系起來(lái)。我認(rèn)為這是一種適當(dāng)?shù)幕A(chǔ)。我認(rèn)為我們的系統(tǒng)將開(kāi)始更好地理解現(xiàn)實(shí)世界的物理學(xué)。?

然后，人們可以想象，積極版本就是處于一個(gè)非常逼真的模擬或游戲環(huán)境中，你開(kāi)始學(xué)習(xí)你的行為對(duì)世界的影響以及如何影響世界本身。世界保持不變，但也會(huì)影響你下一個(gè)學(xué)習(xí)片段的內(nèi)容。因此，我們一直在研究和開(kāi)創(chuàng)的這些 RL 代理，比如 AlphaZero 和 AlphaGo，它們實(shí)際上是積極的學(xué)習(xí)者。他們決定下一步要做什么，會(huì)影響到他們接下來(lái)要學(xué)習(xí)的數(shù)據(jù)或經(jīng)驗(yàn)。因此，有這種非常有趣的反饋循環(huán)。當(dāng)然，如果我們想在諸如機(jī)器人技術(shù)等方面表現(xiàn)出色，我們就必須理解如何在現(xiàn)實(shí)世界中行動(dòng)。

Dwarkesh：是的。所以在某種程度上，有一種基礎(chǔ)，即能力是否能夠繼續(xù)發(fā)展，或者它們是否與現(xiàn)實(shí)足夠接觸，以便能夠做我們想要的事情。還有另一種意義上的基礎(chǔ)，我們很幸運(yùn)，因?yàn)樗鼈兪窃谌祟愃季S上進(jìn)行訓(xùn)練的，它們可能會(huì)像人類一樣思考。當(dāng)更多的計(jì)算資源用于訓(xùn)練時(shí)，以獲取正確的結(jié)果，而不受你是否按照人類的方式進(jìn)行下一個(gè)標(biāo)記的保護(hù)，這種情況在多大程度上保持不變？也許更廣泛的問(wèn)題我會(huì)向你提出，這也是我問(wèn)過(guò) Shane 的，是什么導(dǎo)致了一個(gè)比人類更聰明的系統(tǒng)的對(duì)齊？也許會(huì)想出一些異域概念，并且你真的無(wú)法監(jiān)控百萬(wàn)行的拉取請(qǐng)求，因?yàn)槟阏娴臒o(wú)法理解整個(gè)過(guò)程，你也無(wú)法給出標(biāo)簽。?

Demis：看，這是 Shane 和我以及這里的許多其他人自 DeepMind 成立之前就一直放在心上的事情，因?yàn)槲覀冇?jì)劃得太成功了。在 2010 年，沒(méi)人考慮過(guò) AI，更不用說(shuō) AGI 了。但我們已經(jīng)知道，如果我們能夠取得這些系統(tǒng)和這些想法的進(jìn)展，那么所創(chuàng)造的技術(shù)將是令人難以置信的變革性的。因此，我們?cè)缭?20 年前就在思考，那么，這將會(huì)有什么后果，無(wú)論是積極的還是消極的。當(dāng)然，積極的方向是驚人的科學(xué)，比如 AlphaFold，在健康、科學(xué)、數(shù)學(xué)和科學(xué)發(fā)現(xiàn)方面都取得了令人難以置信的突破。但我們還必須確保這些系統(tǒng)是可理解和可控制的。?

我認(rèn)為有幾種，這將是一個(gè)單獨(dú)的討論，但有許多人有很多想法，從更嚴(yán)格的評(píng)估系統(tǒng)。我認(rèn)為我們對(duì)于諸如系統(tǒng)是否能夠欺騙你之類的行為還沒(méi)有足夠好的評(píng)估和基準(zhǔn)。它能夠竊取自己的代碼，這種不良行為。然后有一些想法，實(shí)際上使用 AI，也許是狹義的 AI，不是一般性的學(xué)習(xí)系統(tǒng)，而是專門(mén)用于某一領(lǐng)域的系統(tǒng)，幫助我們作為人類科學(xué)家分析和總結(jié)更一般系統(tǒng)正在做的事情。狹義 AI 工具。我認(rèn)為在創(chuàng)建硬化沙箱或圍繞模擬的網(wǎng)絡(luò)安全安排的模擬方面有很多前景，既可以將AI 保持在內(nèi)部，又可以將黑客排除在外，這樣你就可以在沙箱領(lǐng)域內(nèi)更自由地進(jìn)行實(shí)驗(yàn)。我認(rèn)為很多這樣的想法，還有很多其他的想法，包括我們之前談到的分析方面的東西，我們可以分析和理解這個(gè)系統(tǒng)正在構(gòu)建的概念，它的表示是什么樣的，所以它們對(duì)我們來(lái)說(shuō)可能并不那么陌生，我們實(shí)際上可以追蹤到它正在構(gòu)建的知識(shí)。

時(shí)間線和智能爆炸

Dwarkesh：是的。稍微退后一步。我想知道你的時(shí)間表是什么。Shane 說(shuō)他的，我認(rèn)為模態(tài)結(jié)果是 2028 年。我想這可能是他的中位數(shù)。你的時(shí)間表是什么？?

Demis：是的，我沒(méi)有具體的預(yù)定數(shù)字，因?yàn)槲艺J(rèn)為有太多未知和不確定因素，而且人類的聰明才智和努力時(shí)常會(huì)帶來(lái)意想不到的驚喜。這可能會(huì)實(shí)質(zhì)性地改變時(shí)間表。但我可以說(shuō)，當(dāng)我們 2010 年創(chuàng)辦 DeepMind 時(shí)，我們把它看作是一個(gè) 20 年的項(xiàng)目。實(shí)際上，我認(rèn)為我們正在按計(jì)劃進(jìn)行，這在 20 年的項(xiàng)目中是令人驚訝的，因?yàn)橥ǔＫ鼈兛偸窃?20 年后才能實(shí)現(xiàn)。這是一個(gè)關(guān)于無(wú)論是量子 AI 還是其他任何東西，總有 20 年的笑話。但我認(rèn)為我們正在按計(jì)劃進(jìn)行。因此，如果在未來(lái)十年內(nèi)擁有類似 AGI 的系統(tǒng)，我也不會(huì)感到意外。?

Dwarkesh：你是否相信這樣一個(gè)模型，一旦你擁有一個(gè) AGI，你就有了一個(gè)基本上可以進(jìn)一步加速 AI 研究的系統(tǒng)？也許不是在一夜之間，但在幾個(gè)月和幾年的時(shí)間里，你會(huì)比以前有更快的進(jìn)展？?

Demis：我認(rèn)為這有可能。我認(rèn)為這在一定程度上取決于我們作為一個(gè)社會(huì)決定將最初的初期 AGI 系統(tǒng)，甚至原始 AGI 系統(tǒng)用于什么。所以即使當(dāng)前的大型語(yǔ)言模型似乎在編碼方面表現(xiàn)不錯(cuò)，我們也有 AlphaCode 等系統(tǒng)。我們還有定理證明系統(tǒng)。所以可以想象將這些想法結(jié)合在一起并將它們變得更好。然后我可以想象這些系統(tǒng)在設(shè)計(jì)和幫助我們構(gòu)建未來(lái)版本時(shí)會(huì)相當(dāng)不錯(cuò)。但我們也必須考慮到這樣做的安全性問(wèn)題。?

Dwarkesh：我很好奇你是怎么想的。我不是說(shuō)這一年會(huì)發(fā)生這種情況，但最終你會(huì)開(kāi)發(fā)一個(gè)模型，其中在開(kāi)發(fā)過(guò)程中，你認(rèn)為有一些機(jī)會(huì)，一旦這個(gè)模型完全開(kāi)發(fā)出來(lái)，它將能夠進(jìn)行智能爆炸式的動(dòng)態(tài)。在那個(gè)時(shí)候，該模型必須滿足什么樣的條件，以至于你會(huì)放心地繼續(xù)系統(tǒng)的開(kāi)發(fā)。?

Demis：好吧，看，我認(rèn)為在我們今天對(duì)這些系統(tǒng)的了解遠(yuǎn)遠(yuǎn)不夠之前，我需要更多地理解這些系統(tǒng)，甚至才能向你解釋我們需要在那里打勾。所以我認(rèn)為我們?cè)谖磥?lái)幾年的時(shí)間里，以及在這些系統(tǒng)開(kāi)始出現(xiàn)之前，我們必須想出正確的評(píng)估和指標(biāo)，也許最好是正式的證明。對(duì)于這些類型的系統(tǒng)來(lái)說(shuō)，這將是困難的，但至少在這些系統(tǒng)可以做的事情周圍有一些經(jīng)驗(yàn)上的界限。這就是為什么我認(rèn)為欺騙之類的事情是根源性的特征，你不希望有的，因?yàn)槿绻愦_信你的系統(tǒng)暴露了它實(shí)際上是怎么想的，那么這就打開(kāi)了使用系統(tǒng)本身向你解釋自己的一些方面的可能性。我對(duì)此的想法實(shí)際上是，如果我要和 Gary Kasparov 下一盤(pán)國(guó)際象棋，他是有史以來(lái)最了不起的國(guó)際象棋選手之一，我不會(huì)能夠提出一個(gè)他可以的棋步，但他可以向我解釋為什么他提出了那一步，并且我事后能夠理解，對(duì)吧？這是我們可以想象的我們可以利用這些系統(tǒng)的一種能力，讓它們向我們解釋甚至也許是為什么他們?cè)谙胫承┦虑榈淖C明，至少在數(shù)學(xué)問(wèn)題上。?

Dwarkesh：明白了。你有沒(méi)有想過(guò)相反的答案會(huì)是什么？所以什么情況下才是真的？明天早上你會(huì)說(shuō)，“哦，天哪，我沒(méi)有預(yù)料到這個(gè)。”明天早上你看到了一些具體的觀察結(jié)果，我們必須停止 Gemini2 的訓(xùn)練。具體會(huì)是什么……?

Demis：是的，我可以想象。這就是像沙盒模擬這樣的東西的作用。我們?cè)谝粋€(gè)安全的、安全的環(huán)境中進(jìn)行實(shí)驗(yàn)，然后發(fā)生了一些非常意外的事情，一個(gè)新的意外的能力或者我們明確告訴系統(tǒng)我們不想要的東西，但它卻說(shuō)謊了。這些都是我們希望用當(dāng)今的系統(tǒng)仔細(xì)挖掘的事情，在我看來(lái)，今天這些系統(tǒng)并不危險(xiǎn)，但在幾年后可能會(huì)有潛力，然后你最好暫停，并真正弄清楚在繼續(xù)之前它為什么會(huì)做這些事情。?

Gemini 訓(xùn)練

Dwarkesh：是的。回到Gemini，我很好奇在開(kāi)發(fā)過(guò)程中的瓶頸是什么。如果擴(kuò)展效果很好，為什么不立即使其規(guī)模增加一個(gè)數(shù)量級(jí)。?

Demis：首先，存在實(shí)際限制。你實(shí)際上可以在一個(gè)數(shù)據(jù)中心容納多少計(jì)算資源？實(shí)際上，你在與非常有趣的分布式計(jì)算挑戰(zhàn)相對(duì)抗。幸運(yùn)的是，我們有一些世界上最優(yōu)秀的人才來(lái)應(yīng)對(duì)這些挑戰(zhàn)，跨數(shù)據(jù)中心的訓(xùn)練，所有這些問(wèn)題。非常有趣的挑戰(zhàn)，硬件挑戰(zhàn)，我們不斷地設(shè)計(jì)和建造我們的TPU等硬件。所以這是所有的。然后，擴(kuò)展定律不是通過(guò)魔法就可以發(fā)生的。你仍然需要擴(kuò)大超參數(shù)，并且每一次新的規(guī)模都會(huì)有各種創(chuàng)新。不僅僅是在每一個(gè)新的規(guī)模上重復(fù)相同的配方。你必須調(diào)整配方，這在某種程度上是一種藝術(shù)形式。你必須幾乎獲得新的數(shù)據(jù)點(diǎn)。如果你試圖將你的預(yù)測(cè)擴(kuò)展到幾個(gè)數(shù)量級(jí)。有時(shí)候它們不再成立了，因?yàn)樾碌哪芰τ行履芰Φ能S遷，有些事情保持不變，而有些事情不是這樣。所以通常你確實(shí)需要那些中間數(shù)據(jù)點(diǎn)來(lái)糾正一些超參數(shù)優(yōu)化和其他事情，以便擴(kuò)展定律繼續(xù)成立。所以有各種各樣的實(shí)際限制，因此一個(gè)數(shù)量級(jí)是你希望在每個(gè)時(shí)代之間進(jìn)行的最大限度。?

Dwarkesh：哦，這太有意思了。在GPT 四的技術(shù)報(bào)告中，他們說(shuō)他們能夠預(yù)測(cè)訓(xùn)練損失，比 GPT 四少計(jì)算數(shù)萬(wàn)倍。他們可以看到曲線。但你提出的觀點(diǎn)是損失所暗示的實(shí)際能力可能并不如此。?

Demis：下游能力有時(shí)并不是由此而來(lái)的，你經(jīng)常可以預(yù)測(cè)核心指標(biāo)，比如訓(xùn)練損失之類的指標(biāo)，但它實(shí)際上并不會(huì)轉(zhuǎn)化為你關(guān)心的MMLU或其他一些實(shí)際能力。它們并不總是線性的，因此存在非線性效應(yīng)。?

Dwarkesh：在 Gemini 的開(kāi)發(fā)過(guò)程中，最讓你驚訝的是什么？?

Demis：嗯，我不會(huì)說(shuō)有一個(gè)很大的驚喜，但嘗試在那樣的規(guī)模上訓(xùn)練東西是非常有趣的，從組織上來(lái)說(shuō)，了解如何照顧這樣的系統(tǒng)，并跟蹤它。我認(rèn)為更好地理解你正在優(yōu)化的指標(biāo)與你想要的最終能力之間的關(guān)系是非常有趣的，但仍然不是完全理解的映射，但我們?cè)絹?lái)越擅長(zhǎng)這樣做。?

Dwarkesh：是的，有一種看法，即其他實(shí)驗(yàn)室可能比 DeepMind 在 Gemini 項(xiàng)目上更加高效利用計(jì)算資源。我不知道你對(duì)這種看法有何看法。?

Demis：我不認(rèn)為是這樣。事實(shí)上，Gemini one 使用的計(jì)算資源大致與傳聞中的 GPT 四相當(dāng)，或許略多一些。我不知道確切的使用量是多少，但我認(rèn)為大致在同一個(gè)數(shù)量級(jí)上。我們非常高效地利用我們的計(jì)算資源，我們將計(jì)算資源用于許多方面。其中一個(gè)不僅是擴(kuò)展，還有之前提到的更多創(chuàng)新和理念。一個(gè)新的創(chuàng)新、一個(gè)新的發(fā)明，只有在它也能夠擴(kuò)展的時(shí)候才有用。所以，在某種程度上，你也需要相當(dāng)多的計(jì)算資源來(lái)進(jìn)行新的發(fā)明，因?yàn)槟惚仨氃谥辽僖欢ㄒ?guī)模上測(cè)試許多事物，并確保它們?cè)谀莻€(gè)規(guī)模上能夠運(yùn)行。此外，一些新的想法可能在玩具規(guī)模下無(wú)法工作，但在更大規(guī)模下可以工作。事實(shí)上，這些更有價(jià)值。所以如果你考慮一下這個(gè)探索過(guò)程，你需要相當(dāng)多的計(jì)算資源來(lái)做到這一點(diǎn)。好消息是，我們?cè)诠雀韬苄疫\(yùn)，我認(rèn)為今年，我們的計(jì)算資源絕對(duì)是所有研究實(shí)驗(yàn)室中最多的。我們希望在擴(kuò)展和我們系統(tǒng)的能力以及新的發(fā)明方面能夠非常有效地使用它。?

Dwarkesh：是的。如果你回到2010年當(dāng)你剛開(kāi)始 DeepMind 的時(shí)候，對(duì)于人工智能的進(jìn)展看起來(lái)是什么樣子的，你會(huì)感到最驚訝的是什么？那時(shí)你是否預(yù)料到，在某種大程度上，會(huì)投入數(shù)十億美元到這些模型中，還是你對(duì)它會(huì)是什么樣子有不同的看法？?

Demis：我們認(rèn)為，實(shí)際上，我知道你曾經(jīng)采訪過(guò)我的同事 Shane，他總是認(rèn)為，從計(jì)算曲線的角度來(lái)看，然后可能大致與大腦的規(guī)模進(jìn)行比較，以及有多少神經(jīng)元和突觸，非常粗略地說(shuō)，但我們現(xiàn)在實(shí)際上處于這種情況，大腦中突觸數(shù)量和我們所擁有的計(jì)算資源的數(shù)量大致相同。但我認(rèn)為更重要的是，我們始終認(rèn)為我們的賭注是放在普遍性和學(xué)習(xí)上的。所以這些總是我們將使用的任何技術(shù)的核心。這就是為什么我們?nèi)菧y(cè)量強(qiáng)化學(xué)習(xí)、搜索和深度學(xué)習(xí)這三種類型的算法，這些算法將會(huì)擴(kuò)展并且會(huì)非常普遍，并且不需要大量手工制作的人類先驗(yàn)，我們認(rèn)為這是構(gòu)建人工智能的失敗模式，實(shí)際上是在 MIT 等地方構(gòu)建人工智能的努力中，那里有非常基于邏輯的系統(tǒng)，專家系統(tǒng)，大量的手工編碼，手工制作的人類信息進(jìn)入其中，結(jié)果是錯(cuò)誤的或者太過(guò)刻板。所以我們想擺脫這一點(diǎn)。我認(rèn)為我們?cè)缭绲匕l(fā)現(xiàn)了這一趨勢(shì)，顯然我們將游戲作為我們的試驗(yàn)場(chǎng)，我們?cè)谀欠矫孀龅梅浅：谩Ｎ艺J(rèn)為所有這些都非常成功。我認(rèn)為也許激發(fā)了其他人去思考一些事情，就像 AlphaGo 是激發(fā)許多其他人去思考的一個(gè)重要時(shí)刻一樣。實(shí)際上，這些系統(tǒng)已經(jīng)準(zhǔn)備好擴(kuò)展了。然后，當(dāng)然，隨著我們?cè)诠雀柩芯亢?Brain 的同事發(fā)明了變壓器，那種允許我們攝取大量信息的深度學(xué)習(xí)，當(dāng)然真正加速了我們今天所處的位置。所以我認(rèn)為這一切都是同一血統(tǒng)的一部分。我們無(wú)法預(yù)測(cè)每一個(gè)轉(zhuǎn)折和變化，但我認(rèn)為我們所走的總體方向是正確的。?

Dwarkesh：是的。事實(shí)上，這很有趣，因?yàn)槿绻汩喿x你們的舊論文或 Shane 的舊論文，比如 2009 年的 Shane 的論文，他說(shuō)，我們測(cè)試人工智能的方法是，你能壓縮維基百科嗎？而這確實(shí)就是損失函數(shù)領(lǐng)域，或者，就像你在 2016 年的一篇論文中所說(shuō)的，在變壓器之前，你說(shuō)你正在比較神經(jīng)科學(xué)和人工智能，他說(shuō)注意力是必需的。

Demis：確實(shí)。所以我們?cè)缇皖A(yù)見(jiàn)到了這些東西，事實(shí)上，我們有一些早期的注意力論文，但它們不像變壓器那樣優(yōu)雅，最終變壓器成為了更好、更普遍的架構(gòu)。

超級(jí)人工智能的治理

Dwarkesh：是的。當(dāng)你將所有這些向前推進(jìn)并思考超人類智能時(shí)，你認(rèn)為那個(gè)景觀是怎樣的？它仍然由一家私營(yíng)公司控制嗎？那么具體的治理應(yīng)該是什么樣子的？

Demis：是的，看，我認(rèn)為這項(xiàng)技術(shù)非常重要。我認(rèn)為它遠(yuǎn)遠(yuǎn)超出了任何一家公司，甚至整個(gè)行業(yè)的規(guī)模。我認(rèn)為這必須是一個(gè)大型合作，參與者包括來(lái)自公民社會(huì)、學(xué)術(shù)界、政府等多個(gè)利益相關(guān)者。好消息是，我認(rèn)為最近聊天機(jī)器人系統(tǒng)的普及已經(jīng)喚醒了社會(huì)的其他部分，人們開(kāi)始意識(shí)到這一點(diǎn)，以及與這些系統(tǒng)互動(dòng)的情況會(huì)是怎樣的。這很好。因此，這為非常好的對(duì)話打開(kāi)了許多門(mén)。我想舉一個(gè)例子，就是幾個(gè)月前在英國(guó)舉辦的安全峰會(huì)，我認(rèn)為那是一個(gè)巨大的成功。開(kāi)始進(jìn)行這種國(guó)際對(duì)話，我認(rèn)為整個(gè)社會(huì)都需要參與其中，決定我們想要部署這些模型用于什么？我們想要如何使用它們，我們不想使用它們做什么？我認(rèn)為我們必須努力在這方面達(dá)成一些國(guó)際共識(shí)，然后還要確保這些系統(tǒng)的好處造福于每個(gè)人，造福于整個(gè)社會(huì)。這就是為什么我如此努力推動(dòng)諸如為科學(xué)而使用人工智能這樣的事情，我希望通過(guò)像我們的子公司同構(gòu)這樣的事情，我們將開(kāi)始利用人工智能治愈疾病，并加速藥物發(fā)現(xiàn)，這些都是驚人的事情，氣候變化等等。我認(rèn)為我們面臨的是人類和人類的挑戰(zhàn)。實(shí)際上，是巨大的挑戰(zhàn)，但我對(duì)我們能夠解決這些挑戰(zhàn)持樂(lè)觀態(tài)度，因?yàn)槲覀冇羞@個(gè)非常強(qiáng)大的工具即將到來(lái)，那就是人工智能，我們可以應(yīng)用它，我認(rèn)為可以幫助我們解決許多這些問(wèn)題。你知道的，理想情況下，我們會(huì)在這個(gè)問(wèn)題上達(dá)成共識(shí)，并在聯(lián)合國(guó)層面進(jìn)行大討論。

Dwarkesh：如果你知道，有一個(gè)有趣的事情是，如果你和這些系統(tǒng)交談，它們非常強(qiáng)大和聰明，但有趣的是它們還沒(méi)有自動(dòng)化大部分經(jīng)濟(jì)。而如果五年前我向你展示了Gemini，你可能會(huì)說(shuō)，哇，這完全會(huì)影響很多事情。那么你如何解釋這一點(diǎn)？為什么它還沒(méi)有產(chǎn)生更廣泛的影響？?

Demis：是的，我認(rèn)為這只是表明我們還處于這個(gè)新時(shí)代的開(kāi)端。我認(rèn)為對(duì)于這些系統(tǒng)來(lái)說(shuō)，有一些有趣的用例，你可以使用這些聊天機(jī)器人系統(tǒng)為你總結(jié)信息，也許進(jìn)行一些簡(jiǎn)單的寫(xiě)作，也許是更多類似于模板的寫(xiě)作，但這只是我們每天所做的工作的一小部分。因此，我認(rèn)為對(duì)于更一般的用例，我們?nèi)匀恍枰碌哪芰Γ热缫?guī)劃和搜索，但也可能需要個(gè)性化和記憶，情節(jié)性記憶。不僅僅是長(zhǎng)期的上下文窗口，而是實(shí)際上記住我們100次對(duì)話前談?wù)摰膬?nèi)容。我認(rèn)為一旦這些開(kāi)始出現(xiàn)，我真的很期待像推薦系統(tǒng)這樣的東西，幫助我找到更好、更豐富的材料，無(wú)論是書(shū)籍、電影、音樂(lè)等等。我會(huì)每天使用那種類型的系統(tǒng)。所以我認(rèn)為我們只是觸及到了這些人工智能助手實(shí)際上能為我們?cè)谌粘Ｉ钪幸约肮ぷ鞅尘爸凶鲂┦裁吹谋砻妗Ｎ艺J(rèn)為它們還不夠可靠，不能用于科學(xué)研究。但我認(rèn)為有一天，一旦我們解決了事實(shí)性、基礎(chǔ)和其他問(wèn)題，我認(rèn)為它們可能最終會(huì)成為世界上最好的研究助手。對(duì)于你作為科學(xué)家或。

Dwarkesh：臨床醫(yī)生，我想問(wèn)一下關(guān)于記憶的事情。順便說(shuō)一句，你在2007年發(fā)表了一篇引人入勝的論文，其中談到了記憶和想象之間的聯(lián)系，以及它們?cè)谀撤N意義上是非常相似的。人們經(jīng)常聲稱這些模型只是在記憶。你如何看待人們提出的這種說(shuō)法？?jī)H僅記憶就足夠了嗎？因?yàn)樵谀撤N深層次上，那就是壓縮？或者你在這里有什么直覺(jué)？?

Demis：是的，我是說(shuō)，在極限條件下，也許可以嘗試記住一切，但它不會(huì)推廣到你的分布之外。我認(rèn)為這些系統(tǒng)顯然是...我認(rèn)為對(duì)于這些早期系統(tǒng)的早期批評(píng)是它們只是在重復(fù)和記憶，但我認(rèn)為顯然新時(shí)代，Gemini GPT-4類型的時(shí)代，它們絕對(duì)是在推廣到新的構(gòu)造。但實(shí)際上，在我的論文和那篇論文中，特別是那篇開(kāi)啟神經(jīng)科學(xué)想象力領(lǐng)域的論文，它表明，首先，記憶，至少是人類記憶，是一個(gè)重構(gòu)過(guò)程。它不是一個(gè)錄像帶。我們從似乎熟悉的組件中重新組合它。這讓我想到想象力可能也是同樣的東西。只不過(guò)在這種情況下，你使用相同的語(yǔ)義組件，但現(xiàn)在你正在以你的大腦認(rèn)為是新穎的方式將它們組合起來(lái)。為了特定目的，比如規(guī)劃。我確實(shí)認(rèn)為這種想法在我們當(dāng)前的系統(tǒng)中可能仍然缺失，這種從你的世界模型中汲取不同部分來(lái)模擬新事物，然后幫助你規(guī)劃的想法，這就是我所說(shuō)的想象力。?

安全、開(kāi)源和權(quán)重保障

Dwarkesh：是的，當(dāng)然。現(xiàn)在，你們擁有世界上最好的模型。對(duì)于 Gemini 模型，你們是否計(jì)劃推出一些類似其他兩個(gè)主要 AI 實(shí)驗(yàn)室的框架？一旦我們看到這些具體的能力，除非我們有這些具體的保障措施，否則我們不會(huì)繼續(xù)開(kāi)發(fā)或不會(huì)發(fā)布產(chǎn)品。?

Demis：是的，我們已經(jīng)有很多內(nèi)部的檢查和平衡，但實(shí)際上我們將開(kāi)始發(fā)布，關(guān)注我們即將推出的一系列博客文章和技術(shù)論文。我們將在接下來(lái)的幾個(gè)月內(nèi)發(fā)布，類似于負(fù)責(zé)任的scaling定律等內(nèi)容。我們?cè)趦?nèi)部有這些內(nèi)容的隱含安排，在各種安全委員會(huì)等方面，例如Shane 主席等。但我認(rèn)為現(xiàn)在是我們更加公開(kāi)討論這些問(wèn)題的時(shí)候了。因此，在今年的過(guò)程中我們將進(jìn)行這樣的討論。?

Dwarkesh：聽(tīng)到這個(gè)消息很好。我還想知道的另一件事是，不僅是部署模型的風(fēng)險(xiǎn)會(huì)被人們用來(lái)做壞事，而且還有流氓行為者、外國(guó)特工等，能夠竊取權(quán)重，然后微調(diào)它們以做出瘋狂的事情。你如何考慮保護(hù)權(quán)重，確保這種事情不會(huì)發(fā)生，確保一群非常關(guān)鍵的人能夠獲得權(quán)重等等？?

Demis：是的，這很有趣。首先，有兩個(gè)部分。一個(gè)是安全性，一個(gè)是開(kāi)源，也許我們可以討論一下。但安全性我認(rèn)為非常關(guān)鍵，就像一般的網(wǎng)絡(luò)安全類型的事情。我認(rèn)為我們?cè)?Google DeepMind 很幸運(yùn)。我們?cè)诠雀璧姆阑饓驮票Ｗo(hù)之后，我認(rèn)為在企業(yè)界是世界最佳的。因此，我們已經(jīng)有了這種保護(hù)。然后在這之后，我們?cè)谖覀兊拇a庫(kù)中有特定的 DeepMind 保護(hù)措施。所以這是一種雙重的保護(hù)。所以我對(duì)此感覺(jué)相當(dāng)不錯(cuò)，但是在這方面你永遠(yuǎn)不能自滿。但我認(rèn)為在網(wǎng)絡(luò)防御方面，我們已經(jīng)是世界最好的了，但我們必須繼續(xù)改進(jìn)。而且，像硬化沙箱這樣的東西也可能是一種做法。甚至也許還有專門(mén)的安全數(shù)據(jù)中心或硬件解決方案，我們也在考慮這個(gè)問(wèn)題。我認(rèn)為在未來(lái)三、四、五年內(nèi)，我們可能也會(huì)需要空氣隔離和其他一些安全社區(qū)已知的東西。所以我認(rèn)為這很關(guān)鍵。我認(rèn)為所有前沿實(shí)驗(yàn)室都應(yīng)該這樣做，因?yàn)榉駝t，國(guó)家和其他事物，流氓國(guó)家和其他危險(xiǎn)的行為者，顯然會(huì)有很大的動(dòng)機(jī)來(lái)竊取像權(quán)重這樣的東西。然后，當(dāng)然，開(kāi)源是另一個(gè)有趣的問(wèn)題，我們非常支持開(kāi)源和開(kāi)放科學(xué)。我是說(shuō)，幾乎每一個(gè)。我們已經(jīng)發(fā)布了數(shù)千篇論文，像 AlphaFold 和變形金剛，當(dāng)然還有 AlphaGo。我們把所有這些都分享到了世界上，發(fā)布和開(kāi)源，最近我們的天氣預(yù)測(cè)系統(tǒng) Graphcast 也是如此。但是當(dāng)涉及到核心技術(shù)、基礎(chǔ)技術(shù)以及非常通用的技術(shù)時(shí)。我想要問(wèn)的問(wèn)題是對(duì)于開(kāi)源的支持者來(lái)說(shuō)，如何阻止壞人、個(gè)人或流氓國(guó)家采用同樣的開(kāi)源系統(tǒng)，將其重新定位，因?yàn)樗鼈兪峭ㄓ玫模梢杂糜谟泻Φ哪康模繉?duì)此我們必須回答。我不知道答案是什么，但我還沒(méi)有聽(tīng)到一個(gè)令人信服、清晰的答案，從只是開(kāi)源化一切的支持者那里。所以我認(rèn)為在這方面必須要有一些平衡。但顯然，這是一個(gè)復(fù)雜的問(wèn)題，關(guān)于什么是平衡。?

Dwarkesh：是的，我覺(jué)得科技沒(méi)有得到應(yīng)有的贊揚(yáng)，因?yàn)樗Y助了數(shù)千億美元的研發(fā)，顯然你們 DeepMind 有像 AlphaFold 這樣的系統(tǒng)。但是當(dāng)我們談?wù)摫Ｗo(hù)權(quán)重時(shí)，正如我們所說(shuō)的，也許現(xiàn)在這不會(huì)導(dǎo)致世界末日或其他什么事情，但隨著這些系統(tǒng)變得越來(lái)越好，一個(gè)外國(guó)特工或其他什么人獲取了它們的擔(dān)憂，目前可能有幾十到幾百名研究人員可以訪問(wèn)這些權(quán)重。如果需要訪問(wèn)它們，如何進(jìn)入情況室，讓權(quán)重處于情況室的狀態(tài)？這是一個(gè)非常艱苦的過(guò)程。沒(méi)有人能真正將它們帶走。

Demis：是的，我的意思是，人們必須在允許合作、推進(jìn)速度的同時(shí)權(quán)衡這一點(diǎn)。實(shí)際上，另一個(gè)有趣的事情是，當(dāng)然，你希望來(lái)自學(xué)術(shù)界或英國(guó) AI 安全研究所等獨(dú)立杰出的研究人員能夠?qū)@些系統(tǒng)進(jìn)行紅隊(duì)測(cè)試。因此，人們必須在一定程度上暴露它們，盡管這不一定是權(quán)重。然后我們有很多流程來(lái)確保只有當(dāng)你需要它們時(shí)，才能讓那些需要訪問(wèn)的人訪問(wèn)。目前，我認(rèn)為我們?nèi)蕴幱谶@類系統(tǒng)面臨風(fēng)險(xiǎn)的早期階段。隨著這些系統(tǒng)變得更強(qiáng)大、更通用、更有能力，我認(rèn)為人們必須關(guān)注訪問(wèn)的問(wèn)題。?

Dwarkesh：一些其他實(shí)驗(yàn)室已經(jīng)在相對(duì)于安全性的不同方面專門(mén)研究，比如 Anthropic，他們專注于可解釋性。你有沒(méi)有一些想法，你們可能在哪些方面具有優(yōu)勢(shì)，這樣一來(lái)，現(xiàn)在你們擁有了前沿模型，你們將擴(kuò)展安全性，你們將能夠提供最好的前沿安全性研究？?

Demis：我認(rèn)為我們幫助開(kāi)創(chuàng)了RLHF 等等，這些也顯然可以用于性能，但也用于安全性。我認(rèn)為很多自我對(duì)弈的想法和這些東西也可以用于自動(dòng)測(cè)試很多新系統(tǒng)的邊界條件。問(wèn)題的一部分在于，對(duì)于這些非常通用的系統(tǒng)，它們的行為涵蓋了如此廣泛的領(lǐng)域。所以，我認(rèn)為我們將需要一些自動(dòng)化的測(cè)試，而且再次，通過(guò)模擬和游戲等，非常真實(shí)的環(huán)境、虛擬環(huán)境，我認(rèn)為我們?cè)谀欠矫嬗兄凭玫臍v史，并且利用這些系統(tǒng)構(gòu)建 AI 算法。因此，我認(rèn)為我們可以利用所有這些歷史。而且在谷歌內(nèi)部，我們非常幸運(yùn)。我們擁有一些世界上最好的網(wǎng)絡(luò)安全專家、硬件設(shè)計(jì)師。因此，我認(rèn)為我們可以為安全性和安全性帶來(lái)這一點(diǎn)。?

多模態(tài)進(jìn)一步的進(jìn)展

Dwarkesh：很好。讓我們談?wù)凣emini。現(xiàn)在你們擁有了世界上最好的模型。我很好奇。迄今為止，與這些系統(tǒng)交互的默認(rèn)方式一直是通過(guò)聊天。現(xiàn)在我們擁有了多模式和所有這些新的功能，你預(yù)計(jì)這將如何改變，或者你認(rèn)為情況仍將是這樣？?

Demis：是的，我認(rèn)為我們剛剛開(kāi)始真正理解完全多模式模型系統(tǒng)，與它進(jìn)行交互可能會(huì)有多么令人興奮。這將與我們今天與聊天機(jī)器人所熟悉的情況大不相同。我認(rèn)為未來(lái)一年、18個(gè)月內(nèi)的下一個(gè)版本，也許我們將在環(huán)境周圍有一些上下文理解，通過(guò)攝像頭或其他設(shè)備，比如手機(jī)。我可以想象這是下一個(gè)步驟。然后我認(rèn)為我們會(huì)開(kāi)始變得更加靈活，理解。讓我們從視頻中進(jìn)行采樣，讓我們使用語(yǔ)音，甚至最終可能會(huì)使用觸摸等。如果你考慮到機(jī)器人技術(shù)和其他方面，傳感器，其他類型的傳感器。所以，我認(rèn)為世界即將變得非常令人興奮。我認(rèn)為在接下來(lái)的幾年里，隨著我們開(kāi)始習(xí)慣于真正的多模式意味著什么，尤其是在機(jī)器人領(lǐng)域。?

Dwarkesh：當(dāng)我在播客上時(shí)，伊利亞說(shuō) OpenAI 放棄機(jī)器人技術(shù)的原因是因?yàn)樗麄冊(cè)谶@個(gè)領(lǐng)域沒(méi)有足夠的數(shù)據(jù)，至少在他們追求的時(shí)間內(nèi)是這樣。我的意思是，你們發(fā)布了不同的東西，比如機(jī)器人變壓器和其他東西。你認(rèn)為這仍然是機(jī)器人技術(shù)進(jìn)步的瓶頸，還是我們將在原子世界和世界的進(jìn)步中看到進(jìn)步？

Demis：嗯，我們對(duì) Gatto和 RT 這樣的事物的進(jìn)展非常興奮，這是兩個(gè)機(jī)器人變壓器。所以，我們一直很喜歡機(jī)器人技術(shù)，我們?cè)谶@方面有著驚人的研究，而且我們現(xiàn)在仍在進(jìn)行研究，因?yàn)槲覀兿矚g它是一個(gè)數(shù)據(jù)稀缺的領(lǐng)域，因?yàn)檫@推動(dòng)了我們朝著非常有趣的研究方向，我們認(rèn)為這些方向無(wú)論如何都會(huì)很有用，比如在模擬中的采樣效率和數(shù)據(jù)效率，以及從模擬中的遷移學(xué)習(xí)，將其轉(zhuǎn)移到現(xiàn)實(shí)中，所有這些非常 sim-to-real，所有這些非常有趣的通用挑戰(zhàn)，我們希望解決。所以控制問(wèn)題。所以我們一直在這方面努力。實(shí)際上，我認(rèn)為伊利亞是對(duì)的，由于數(shù)據(jù)問(wèn)題，這更具挑戰(zhàn)性。但我認(rèn)為我們開(kāi)始看到這些大型模型開(kāi)始在機(jī)器人領(lǐng)域具有可轉(zhuǎn)移性的跡象，學(xué)習(xí)在通用領(lǐng)域，語(yǔ)言領(lǐng)域和其他領(lǐng)域的東西，然后將 Gatto 這樣的令牌視為任何類型的令牌。令牌可以是一個(gè)動(dòng)作，可以是一個(gè)單詞，可以是圖像的一部分，一個(gè)像素，或者其他任何東西。我認(rèn)為這才是真正的多模式。起初，訓(xùn)練這樣的系統(tǒng)比訓(xùn)練一個(gè)簡(jiǎn)單的文本語(yǔ)言系統(tǒng)更困難。但實(shí)際上，回到我們?cè)缙陉P(guān)于遷移學(xué)習(xí)的討論，你會(huì)發(fā)現(xiàn)真正的多模式系統(tǒng)，其他模式會(huì)有所好處。所以你對(duì)語(yǔ)言的理解會(huì)更好，因?yàn)槟悻F(xiàn)在對(duì)視頻有了一點(diǎn)了解。所以，我認(rèn)為啟動(dòng)起來(lái)更難，但實(shí)際上，最終，我們將擁有一個(gè)更通用、更有能力的系統(tǒng)。?

Dwarkesh：Godot發(fā)生了什么？你們當(dāng)時(shí)可以讓它玩游戲，也可以做視頻，還可以做其他的。

Demis：是的，我們?nèi)栽谘芯磕欠N類型的系統(tǒng)，但你可以想象我們只是在嘗試。我們正在試圖將那些想法融入我們未來(lái)幾代的 Gemini 中，以便能夠做所有這些事情。以及機(jī)器人變壓器之類的東西。你可以把它們看作是對(duì)那些的跟進(jìn)。

Dwarkesh：我們是否會(huì)看到向特定領(lǐng)域的不對(duì)稱進(jìn)展，即你所談?wù)摰淖晕覍?duì)弈類的東西將會(huì)特別強(qiáng)大？數(shù)學(xué)和代碼，顯然，最近你們發(fā)表了關(guān)于這方面的論文。你們可以利用這些東西做一些非常酷的新事物。他們只會(huì)成為超級(jí)人類的編碼員，但在其他方面，它們可能仍然不如人類，或者你對(duì)此有什么看法？

Demis：在某種程度上。是的。所以，我認(rèn)為我們?cè)跀?shù)學(xué)、定理證明和編碼方面取得了很大的進(jìn)步，但是如果我們一般來(lái)看創(chuàng)造力和科學(xué)努力。我認(rèn)為我們已經(jīng)到了這一階段，我們的系統(tǒng)可以幫助最優(yōu)秀的人類科學(xué)家更快地取得突破，幾乎可以對(duì)搜索空間進(jìn)行分類，或者像 AlphaFold 那樣找到一個(gè)解決方案來(lái)解決蛋白質(zhì)結(jié)構(gòu)的問(wèn)題。但它們還沒(méi)有達(dá)到可以自己提出假設(shè)或提出正確問(wèn)題的水平。任何頂級(jí)科學(xué)家都會(huì)告訴你，這是科學(xué)中最困難的部分，實(shí)際上是提出正確的問(wèn)題，將空間減少到什么是關(guān)鍵問(wèn)題？我們應(yīng)該解決關(guān)鍵的問(wèn)題，然后以正確的方式制定問(wèn)題來(lái)解決它。這不是我們的系統(tǒng)真正了解如何做的事情，但如果可以用明確的、客觀的函數(shù)來(lái)指定問(wèn)題，它們就適合搜索大的組合空間。所以，對(duì)于我們今天處理的許多問(wèn)題來(lái)說(shuō)，這是非常有用的，但并不是最高級(jí)別的創(chuàng)造性問(wèn)題。

Dwarkesh：DeepMind 在不同領(lǐng)域加速科學(xué)方面發(fā)布了各種有趣的東西。在如果你認(rèn)為 AGI 將在未來(lái) 10 到 20 年內(nèi)實(shí)現(xiàn)的情況下，為什么不等待 AGI 為你做這些事情呢？為什么要構(gòu)建這些領(lǐng)域特定的解決方案？

Demis：嗯，我們不知道 AGI還要多久。即使在我們開(kāi)始 DeepMind 的時(shí)候，我們也總是說(shuō)我們不必等待 AGI 才能為世界帶來(lái)令人難以置信的好處。尤其是我個(gè)人對(duì) AI 在科學(xué)和健康領(lǐng)域的熱情。你可以看到，比如 AlphaFold 和我們?cè)诓煌I(lǐng)域的各種自然論文以及材料科學(xué)工作等等。我認(rèn)為有很多令人興奮的方向，而且還有產(chǎn)品方面的影響。我認(rèn)為這非常令人興奮，這是我們作為谷歌的一部分獨(dú)特的機(jī)會(huì)，他們擁有數(shù)十億用戶的產(chǎn)品，我們可以立即將我們的進(jìn)步推向這些產(chǎn)品，然后數(shù)十億人可以改善他們的日常生活，豐富他們的日常生活和提升他們的日常生活。因此，我認(rèn)為這是在所有這些方面都產(chǎn)生影響的一個(gè)奇妙的機(jī)會(huì)。

我認(rèn)為從 AGI 的角度來(lái)看，另一個(gè)原因是它可以檢驗(yàn)?zāi)愕南敕ǎ瑢?duì)吧？所以你不想陷入一個(gè)研究掩體，你只是在理論上推進(jìn)一些事情，但實(shí)際上，你的內(nèi)部指標(biāo)開(kāi)始偏離人們關(guān)心的真實(shí)世界事物，對(duì)吧？或者真實(shí)世界的影響，所以你會(huì)從這些真實(shí)世界的應(yīng)用中直接得到很多反饋，然后告訴你你的系統(tǒng)是否真的在擴(kuò)展，或者我們是否需要更加數(shù)據(jù)有效或樣本有效？因?yàn)榇蠖鄶?shù)真實(shí)世界的挑戰(zhàn)都需要這樣做。對(duì)吧。所以這讓你保持誠(chéng)實(shí)，推動(dòng)你保持推進(jìn)研究方向的正確道路。所以我認(rèn)為這是很棒的。當(dāng)然，世界在這個(gè)過(guò)程中受益。社會(huì)在這個(gè)過(guò)程中受益，也許在 AGI 到來(lái)之前的許多年里都會(huì)受益。

進(jìn)入谷歌 DeepMind 內(nèi)部

Dwarkesh：是的，實(shí)際上，Gemini的開(kāi)發(fā)非常有趣，因?yàn)樗『檬窃诤喜⑦@些不同組織——Brain 和 DeepMind——之后出現(xiàn)的。是的，我很好奇，那里面都有哪些挑戰(zhàn)？有哪些協(xié)同效應(yīng)？而且從成功的角度來(lái)看，你們擁有了世界上最好的模型。現(xiàn)在，這是怎么樣的？

Demis：嗯，看，過(guò)去一年確實(shí)非常棒。當(dāng)然，像任何一次大型整合一樣，做到這一點(diǎn)是具有挑戰(zhàn)性的，但你在談?wù)搩蓚€(gè)世界級(jí)組織，長(zhǎng)期的、悠久的歷史，他們發(fā)明了許多重要的東西，從深度強(qiáng)化學(xué)習(xí)到變壓器。因此，實(shí)際上將所有這些資源集中起來(lái)并更加緊密地合作是非常令人興奮的。我們過(guò)去總是在合作，但更多地是基于項(xiàng)目的基礎(chǔ)上，而不是像我們現(xiàn)在這樣更深入、更廣泛的合作。Gemini 是這種合作的第一個(gè)成果，包括名字 Gemini，實(shí)際上意味著雙胞胎。當(dāng)然，還有很多其他方面變得更加高效，比如將計(jì)算資源、思想和工程匯集在一起，我認(rèn)為在我們目前所處的階段，需要進(jìn)行大量世界級(jí)工程來(lái)構(gòu)建前沿系統(tǒng)。我認(rèn)為協(xié)調(diào)更加合理。

Dwarkesh：我的意思是，你和Shane 成立 DeepMind 的部分原因是因?yàn)槟銈儗?duì)安全性感到擔(dān)憂。你們認(rèn)為 AGI 的出現(xiàn)是一個(gè)實(shí)際可能性。你認(rèn)為以前是 Google 的一半，現(xiàn)在是 DeepMind 的一半的人，他們對(duì)此是否持有相同的態(tài)度？在這個(gè)問(wèn)題上是否存在文化差異？

Demis：是的，總的來(lái)說(shuō)，這也是為什么我認(rèn)為我們?cè)?2014 年與谷歌聯(lián)合的原因之一，我認(rèn)為整個(gè)谷歌和 Alphabet，不僅僅是 Brain 和 DeepMind，都非常認(rèn)真地對(duì)待這些問(wèn)題，我們的一種口號(hào)是試圖在這些系統(tǒng)中大膽而負(fù)責(zé)任。所以我會(huì)把它歸類為，顯然我是一個(gè)巨大的技術(shù)樂(lè)觀主義者，但鑒于我們共同帶來(lái)的這種變革性力量，我希望我們對(duì)此持謹(jǐn)慎態(tài)度。我認(rèn)為這將是人類將會(huì)發(fā)明的最重要的技術(shù)之一。所以我們必須把所有的精力投入到做對(duì)的事情上，對(duì)我們即將到來(lái)的系統(tǒng)及其不確定性的了解和不了解，我們必須謹(jǐn)慎地思考，也要謙虛，我們的系統(tǒng)會(huì)帶來(lái)哪些不確定性。在我看來(lái)，當(dāng)你面臨巨大的不確定性時(shí)，唯一明智的做法是持謹(jǐn)慎樂(lè)觀態(tài)度，使用科學(xué)方法盡可能多地預(yù)見(jiàn)和理解即將發(fā)生的事情以及這些事情的后果。你不希望在這個(gè)世界上用這些非常有力的系統(tǒng)進(jìn)行實(shí)時(shí) A/B 測(cè)試，因?yàn)橐庀氩坏降暮蠊赡芟喈?dāng)嚴(yán)重。所以我希望我們的領(lǐng)域能夠擺脫快速推動(dòng)事物并破壞一切的態(tài)度，這在過(guò)去可能為硅谷服務(wù)得很好，顯然也創(chuàng)造了重要的創(chuàng)新。但我認(rèn)為在這種情況下，我們希望能夠在積極的方面大膽嘗試，確保我們實(shí)現(xiàn)醫(yī)學(xué)和科學(xué)等積極事物的同時(shí)，盡可能負(fù)責(zé)任和周到地減輕風(fēng)險(xiǎn)。

Dwarkesh：是的，這就是為什么負(fù)責(zé)任的擴(kuò)展政策似乎是一種非常好的經(jīng)驗(yàn)方法，可以預(yù)先承諾這些事情。

Demis：是的，確實(shí)如此。

Dwarkesh：我很好奇，例如，當(dāng)你進(jìn)行這些評(píng)估時(shí)，如果發(fā)現(xiàn)你的下一個(gè)模型可能幫助一個(gè)普通人建立一個(gè)生物武器級(jí)別的大流行病，你會(huì)如何考慮？首先，你會(huì)如何確保這些權(quán)重是安全的，以免泄露？其次，對(duì)于您來(lái)說(shuō)，如果不暴露潛在的能力，那需要什么條件才能讓您放心部署該系統(tǒng)？你會(huì)如何確保這種潛在能力不被暴露？

Demis：嗯，首先，我認(rèn)為保護(hù)模型部分我們已經(jīng)通過(guò)網(wǎng)絡(luò)安全覆蓋到了，確保它是世界級(jí)的，你正在監(jiān)測(cè)所有這些事情。我認(rèn)為如果通過(guò)紅隊(duì)測(cè)試或政府機(jī)構(gòu)、學(xué)術(shù)界或其他獨(dú)立測(cè)試人員的外部測(cè)試發(fā)現(xiàn)了這樣的能力，那么我們將不得不修復(fù)這個(gè)漏洞，取決于是什么樣的漏洞，對(duì)吧？如果需要更多不同類型的，也許是憲法或不同的限制條件，或者更多的 RLHF 來(lái)避免這種情況，或者刪除一些訓(xùn)練數(shù)據(jù)，這取決于問(wèn)題的性質(zhì)，我認(rèn)為可能有幾種緩解方法。所以第一部分是確保你提前發(fā)現(xiàn)它，所以這就涉及到正確的評(píng)估、正確的基準(zhǔn)測(cè)試和正確的測(cè)試。然后問(wèn)題是在你部署之前如何修復(fù)它。

Dwarkesh：當(dāng)然。

Demis：但我認(rèn)為在通常情況下，在暴露表面出現(xiàn)之前，它需要在部署之前進(jìn)行修復(fù)。

 ：好的，最后一個(gè)問(wèn)題。您在 2010 年曾經(jīng)以 AGI 的最終目標(biāo)來(lái)思考，而其他人認(rèn)為這是荒謬的。現(xiàn)在我們看到這種緩慢的起飛，我們實(shí)際上看到了這些泛化和智能，這種心理上的感受如何？這感覺(jué)就像你的世界模型已經(jīng)定價(jià)了，所以對(duì)你來(lái)說(shuō)不是新鮮事物嗎？還是說(shuō)看到它真實(shí)發(fā)生時(shí)，你會(huì)驚嘆不已，感覺(jué)真的發(fā)生了些變化，或者是怎么樣的？

Demis：是的，對(duì)我來(lái)說(shuō)，是的，這已經(jīng)是我預(yù)料到的技術(shù)發(fā)展方向，至少是從技術(shù)方面來(lái)說(shuō)。但顯然，我們并沒(méi)有預(yù)料到一般公眾會(huì)在這個(gè)序列的這么早的階段對(duì)此產(chǎn)生如此大的興趣。對(duì)于這些事情，或許可以想象，如果我們沒(méi)有生產(chǎn)出更多的東西，如果說(shuō) Chat GPT 和聊天機(jī)器人沒(méi)有得到他們最終獲得的興趣，這對(duì)每個(gè)人來(lái)說(shuō)都是相當(dāng)令人驚訝的，盡管它們?cè)谀承┓较蛏线€存在不足。它們雖然令人印象深刻，但我們可能會(huì)生產(chǎn)更多的專業(yè)系統(tǒng)，比如 AlphaFold 和 AlphaGo 等，以及我們的科學(xué)工作。然后我認(rèn)為一般公眾可能只會(huì)在幾年后，當(dāng)我們有更加普遍有用的助手型系統(tǒng)時(shí)才會(huì)關(guān)注，所以這很有趣。所以這創(chuàng)造了一個(gè)我們現(xiàn)在所有人都在其中運(yùn)作的不同類型的環(huán)境。這是一個(gè)更加混亂的環(huán)境，因?yàn)橛羞@么多的事情在發(fā)生，有這么多的風(fēng)險(xiǎn)投資進(jìn)入，每個(gè)人都幾乎在為此瘋狂。我唯一擔(dān)心的是，我希望作為一個(gè)領(lǐng)域，我們對(duì)此采取負(fù)責(zé)任、周到和科學(xué)的態(tài)度，并以我所說(shuō)的一種樂(lè)觀而謹(jǐn)慎的方式來(lái)對(duì)待這個(gè)問(wèn)題。我一直認(rèn)為這是處理像 AI 這樣的事物的正確方式，我只希望這種方法在這場(chǎng)巨大的變革中不會(huì)被忽視。

Dwarkesh：當(dāng)然，當(dāng)然。好，我認(rèn)為這是一個(gè)很好的結(jié)束。

本文轉(zhuǎn)載自??MoPaaS魔泊云??，作者：Dwarkesh