?“想象一下，有一天我們能夠打造出一個(gè)在廚房里執(zhí)行各種任務(wù)的家庭機(jī)器人。那么問(wèn)題就不僅僅是感知了。你真的需要學(xué)會(huì)各種個(gè)人操縱技能，以便能夠廣泛地泛化。”

—— Sergey?

Craig: 嗨，我是Craig Smith，歡迎收聽(tīng)《AI視界》。今天我和Sergey Levine進(jìn)行了交談，他是加州大學(xué)伯克利分校的副教授，在該校的機(jī)器人人工智能與學(xué)習(xí)實(shí)驗(yàn)室從事研究，并推動(dòng)著AI控制機(jī)器人的邊界。Sergey談到了他最近在強(qiáng)化學(xué)習(xí)和從世界各地的機(jī)器人中聚合數(shù)據(jù)集方面的一些工作，以幫助訓(xùn)練一個(gè)能夠在不同類型的機(jī)器人之間泛化的模型。這是關(guān)于具身AI的激動(dòng)人心的研究，將這一變革性技術(shù)從計(jì)算機(jī)帶到了現(xiàn)實(shí)世界。我希望你會(huì)像我一樣覺(jué)得這次對(duì)話很有趣。那么，Sergey，你能先介紹一下自己?jiǎn)幔?/span>

Sergey: 我是加州大學(xué)伯克利分校的副教授，之前在斯坦福大學(xué)獲得了博士學(xué)位，我還每周在谷歌的機(jī)器人部門工作一天，也在那里從事機(jī)器人學(xué)習(xí)方面的工作。我的研究涉及機(jī)器人領(lǐng)域，但也涉及到機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等許多其他相關(guān)技術(shù)。最近，我的團(tuán)隊(duì)還在從事與語(yǔ)言模型、計(jì)算設(shè)計(jì)等相關(guān)的強(qiáng)化學(xué)習(xí)工作，以及決策制定的其他方面。

Craig: 大家都在談?wù)撌澜缒Ｐ停麄冋趯⑹澜缒Ｐ秃驼Z(yǔ)言模型結(jié)合起來(lái)。你有在研究世界模型嗎？你對(duì)此持什么看法？

Sergey: 是的，我想我有一些話可以說(shuō)。通常，如果我們想要控制機(jī)器人系統(tǒng)，機(jī)器學(xué)習(xí)有幾種方法可以實(shí)現(xiàn)這一目標(biāo)。一種非常簡(jiǎn)單的方法是模仿學(xué)習(xí)。模仿學(xué)習(xí)就是利用通常由控制系統(tǒng)的人提供的演示，然后模仿這些演示來(lái)嘗試生成一個(gè)代理。機(jī)器人也可以為其他很多事情服務(wù)。可以說(shuō)，語(yǔ)言模型只是巨大的模仿學(xué)習(xí)機(jī)器，因?yàn)樗鼈冊(cè)谀７氯祟惿晌谋尽＿€有許多其他方法可以做到這一點(diǎn)。

Sergey: 所謂世界模型實(shí)質(zhì)上就是一個(gè)動(dòng)態(tài)模型，它表示環(huán)境將如何響應(yīng)代理的行為，我們也可以從數(shù)據(jù)中學(xué)習(xí)到這一點(diǎn)。在強(qiáng)化學(xué)習(xí)中，通常將其稱為基于模型的RL。基于模型的RL意味著訓(xùn)練一個(gè)模型來(lái)模擬環(huán)境行為，然后使用該模型來(lái)確定在世界中如何行動(dòng)。實(shí)際上，這是一個(gè)非常古老的學(xué)科。事實(shí)上，在模型無(wú)關(guān)RL變得如此流行之前，最早的學(xué)習(xí)控制方法實(shí)際上是基于模型的RL方法。一些最早期的神經(jīng)網(wǎng)絡(luò)控制方法實(shí)際上使用了動(dòng)態(tài)建模。而且，有很多不同的實(shí)例化方法。你可以通過(guò)采取圖像觀測(cè)并進(jìn)行視頻預(yù)測(cè)來(lái)實(shí)例化動(dòng)態(tài)模型或世界模型。你也可以通過(guò)學(xué)習(xí)非重建性表示來(lái)實(shí)例化它們，或者是大致上捕捉系統(tǒng)狀態(tài)而不一定將其重新映射回像素，然后進(jìn)行預(yù)測(cè)。因此，有很多不同的方法來(lái)做到這一點(diǎn)。

Craig: 最近我和Wave談到了他們的Gaia模型，并看過(guò)了相關(guān)視頻。但他們將該模型內(nèi)置到一個(gè)控制器中，連接到一個(gè)控制器，用于操作自動(dòng)駕駛車輛。與您所從事的強(qiáng)化學(xué)習(xí)有什么不同之處，這種結(jié)構(gòu)或架構(gòu)有什么不同？

Sergey: 我覺(jué)得我沒(méi)法說(shuō)太多，因?yàn)槲也恢浪麄兊南到y(tǒng)是如何工作的。我看過(guò)公開(kāi)材料，和其他人一樣，但我對(duì)細(xì)節(jié)并沒(méi)有真正的了解。也許有一點(diǎn)我可以說(shuō)的是，大多數(shù)基于學(xué)習(xí)的控制方法不一定需要預(yù)測(cè)機(jī)器人攝像頭將來(lái)會(huì)觀察到的原始像素。這是一種方法，可以通過(guò)這種方法做很多事情，但我認(rèn)為更重要的區(qū)別實(shí)際上是我們能夠多大程度上利用數(shù)據(jù)來(lái)產(chǎn)生更優(yōu)化的決策，通過(guò)預(yù)測(cè)是一種方法，你可以預(yù)測(cè)像素，這就是視頻預(yù)測(cè)模型所做的。你也可以預(yù)測(cè)結(jié)果或獎(jiǎng)勵(lì)，這是價(jià)值函數(shù)所做的。歸根結(jié)底，它們實(shí)際上并沒(méi)有那么不同，也許更大的區(qū)別是你能否得到一個(gè)在真實(shí)世界中真正有效的系統(tǒng)，是由訓(xùn)練數(shù)據(jù)決定的。例如，如果你想要實(shí)際在廣闊的開(kāi)放世界環(huán)境中工作的機(jī)器人操作系統(tǒng)，你需要在廣闊的開(kāi)放世界環(huán)境中對(duì)其進(jìn)行訓(xùn)練。所以我在研究中實(shí)際上關(guān)心的很多內(nèi)容是，我們?nèi)绾伍_(kāi)發(fā)可以使用大量數(shù)據(jù)的基于學(xué)習(xí)的控制技術(shù)，以及我們?nèi)绾未_定我們可以獲取什么樣的數(shù)據(jù)集來(lái)獲得真正的泛化能力？在我的情況下，通常是機(jī)器人操縱技能，但也包括機(jī)器人導(dǎo)航技能等方面的技能，比如倉(cāng)儲(chǔ)系統(tǒng)的操縱。

Sergey: 很多時(shí)候，這些問(wèn)題在很大程度上可以歸結(jié)為感知問(wèn)題。所以如果你以正確的方式構(gòu)建你的環(huán)境，那么只要你能夠檢測(cè)到物體在哪里，你就可以使用手工設(shè)計(jì)的策略來(lái)解決這個(gè)問(wèn)題。這種方式往往效果不太好。如果你想把機(jī)器人系統(tǒng)帶到更開(kāi)放的環(huán)境中，比如有一天你想象中建造一個(gè)家用機(jī)器人，可以在廚房里執(zhí)行各種任務(wù)，那么問(wèn)題就不僅僅是感知了。那時(shí)你真的需要學(xué)會(huì)各種個(gè)人操縱技能，并且需要能夠廣泛地泛化。

Sergey: 所以在這里我可能可以討論一下一個(gè)我們最近實(shí)際上做的項(xiàng)目，這實(shí)際上是谷歌、伯克利和其他幾所大學(xué)之間的合作項(xiàng)目，試圖看看我們?nèi)绾文軌虻玫秸嬲軌蚍夯讲煌瑱C(jī)器人形態(tài)的機(jī)器人控制器。這實(shí)際上非常重要，因?yàn)槿绻芏鄦?wèn)題都涉及到數(shù)據(jù)，那么從一個(gè)單一機(jī)器人中獲取到廣度和多樣性的數(shù)據(jù)，使得家用機(jī)器人能夠?qū)崿F(xiàn)你所期望的廣泛泛化，是非常困難的。但如果你可以從許多不同的機(jī)器人中匯集數(shù)據(jù)，那么也許你就可以真正地獲得這種覆蓋范圍。而且，如果你真的能做到這一點(diǎn)，并且你得到了一個(gè)可以在各種機(jī)器人之間泛化的系統(tǒng)，那么你就可以得到一些真正酷的東西，原則上，有人可以組裝一些新的機(jī)器人系統(tǒng)，然后將這種機(jī)器人大腦插入其中，立即獲得可以控制該機(jī)器人的東西。到目前為止，我們?cè)谶@方面所做的工作并不是太關(guān)心構(gòu)建更好的模型，而是僅僅是獲取這種多樣化的數(shù)據(jù)集，并應(yīng)用我們之前已經(jīng)開(kāi)發(fā)的標(biāo)準(zhǔn)技術(shù)，而這實(shí)際上效果還不錯(cuò)。這個(gè)項(xiàng)目叫做RTX，其想法是我們從最后有34個(gè)不同的研究實(shí)驗(yàn)室那里獲得了數(shù)據(jù)。

Sergey: 谷歌是其中之一，伯克利也是。實(shí)際上，在伯克利有兩個(gè)實(shí)驗(yàn)室參與了這個(gè)項(xiàng)目，然后我們?cè)谶@個(gè)數(shù)據(jù)上訓(xùn)練了一個(gè)模型，來(lái)執(zhí)行基本上是以語(yǔ)言為條件的操縱任務(wù)。

Sergey: 我認(rèn)為你給機(jī)器人一個(gè)指令，比如撿起番茄放進(jìn)碗里，機(jī)器人應(yīng)該執(zhí)行這個(gè)任務(wù)。然后我們拿這個(gè)模型，交給了貢獻(xiàn)數(shù)據(jù)的不同實(shí)驗(yàn)室，并讓他們與他們研究的任何模型進(jìn)行比較，基本上是在他們自己的系統(tǒng)上進(jìn)行訓(xùn)練的，而多機(jī)器人模型實(shí)際上在成功率方面，平均提高了約50%，這實(shí)際上非常有趣，因?yàn)檫@與每個(gè)實(shí)驗(yàn)室的個(gè)體系統(tǒng)相競(jìng)爭(zhēng)，并且可以假設(shè)有優(yōu)秀的研究人員。他們建立了一個(gè)相當(dāng)好的工作系統(tǒng)。現(xiàn)在，這實(shí)際上是一種模仿學(xué)習(xí)方法，是以語(yǔ)言為條件的模仿學(xué)習(xí)。我認(rèn)為，無(wú)論是模仿還是預(yù)測(cè)還是世界建模，我認(rèn)為這些技術(shù)中的許多技術(shù)都可以做到。我想要傳達(dá)的更重要的信息是，通過(guò)實(shí)際獲取這些數(shù)據(jù)集，你實(shí)際上可以得到一個(gè)可以插入所有這些不同機(jī)器人的系統(tǒng)，并且實(shí)際上從中獲得良好結(jié)果。

Craig: 嗯，這很有趣。這個(gè)模型是通過(guò)各個(gè)參與實(shí)驗(yàn)室的數(shù)據(jù)集進(jìn)行訓(xùn)練的。

Sergey: 是的，在這些實(shí)驗(yàn)中，我們并沒(méi)有測(cè)試它是否可以泛化到一個(gè)新的機(jī)器人。這對(duì)于這個(gè)領(lǐng)域來(lái)說(shuō)是一個(gè)非常激動(dòng)人心的前沿，但那仍然是在未來(lái)。這只是試圖回答這樣一個(gè)問(wèn)題：如果你包括其他實(shí)驗(yàn)室的數(shù)據(jù)，那么一個(gè)實(shí)驗(yàn)室的機(jī)器人是否會(huì)變得更好？當(dāng)然，如果你處于少數(shù)派，如果你是那些提供相對(duì)較少數(shù)據(jù)的團(tuán)隊(duì)之一，你會(huì)預(yù)期看到相對(duì)更多來(lái)自其他人的好處。有趣的是，即使是大多數(shù)貢獻(xiàn)者也看到了很多好處。

Sergey: 所以可能最大的數(shù)據(jù)集約有10萬(wàn)次試驗(yàn)，來(lái)自谷歌自己的機(jī)器人，也就是我們?cè)诤芏鄼C(jī)器人研究中使用的移動(dòng)底座。通過(guò)這個(gè)系統(tǒng)，我們實(shí)際上能夠在各種測(cè)試中對(duì)其進(jìn)行測(cè)試。我們有一套困難查詢的測(cè)試套件。實(shí)際上，這些查詢需要從網(wǎng)絡(luò)上合成預(yù)訓(xùn)練的知識(shí)以及良好的指令跟隨能力，因此這些需要空間推理等技能，而在最困難的測(cè)試中，我們實(shí)際上看到了性能提高了三倍，僅使用谷歌數(shù)據(jù)集。現(xiàn)在在我看來(lái)，這實(shí)際上是非常深刻的，因?yàn)楣雀璧臄?shù)據(jù)集是非常精心策劃的，是由專業(yè)人士收集機(jī)器人數(shù)據(jù)的，而事實(shí)上，將所有這些來(lái)自長(zhǎng)列表的學(xué)術(shù)實(shí)驗(yàn)室的額外數(shù)據(jù)源包括在內(nèi)，實(shí)際上導(dǎo)致了這么大的改進(jìn)，這確實(shí)表明了當(dāng)你將足夠多的來(lái)自不同來(lái)源的數(shù)據(jù)組合在一起時(shí)，會(huì)發(fā)生一種神奇的事情。是的，所以對(duì)于這些實(shí)驗(yàn)，我們實(shí)際上是在傳遞模型。好的，數(shù)據(jù)集現(xiàn)在是公開(kāi)的了。

Sergey: 所以任何人都可以拿到這個(gè)數(shù)據(jù)集并下載它，然后訓(xùn)練自己的模型。實(shí)際上，我們?cè)诩又荽髮W(xué)伯克利分校有一個(gè)正在進(jìn)行的項(xiàng)目，我的學(xué)生們都在參與。對(duì)于那個(gè)最初的實(shí)驗(yàn)，只是模型權(quán)重。嗯，這很有趣。只有模型權(quán)重。

Craig: 那么這個(gè)模型的架構(gòu)在每個(gè)實(shí)驗(yàn)室都在復(fù)制。他們沒(méi)有使用自己的模型。

Sergey: 是的，對(duì)的，所以這是完全相同的模型，完全相同的權(quán)重，必須驅(qū)動(dòng)所有位置的所有機(jī)器人。是的，如果你仔細(xì)想想，這實(shí)際上是一件非常不容易的事情，對(duì)吧？因?yàn)槟Ｐ椭荒芸吹綑C(jī)器人通過(guò)攝像頭接收到的東西，必須解決這個(gè)問(wèn)題。現(xiàn)在我正在駕駛一個(gè)U形機(jī)器人，一個(gè)UR-10工業(yè)機(jī)器人，與現(xiàn)在我正在駕駛一個(gè)成本低廉的WTOX機(jī)器人相比，或者現(xiàn)在我正在駕駛一個(gè)Franca或谷歌機(jī)器人，然后相應(yīng)地調(diào)整控制。

Craig: 我在實(shí)驗(yàn)室時(shí)記得，你們的機(jī)器人是網(wǎng)絡(luò)化的，所以從一個(gè)機(jī)器人學(xué)到的知識(shí)會(huì)更新到一個(gè)中央大腦，然后控制每個(gè)機(jī)器人。你是否進(jìn)行過(guò)類似的更廣泛的實(shí)驗(yàn)，就像這個(gè)一樣？

Sergey: 是的，是的，我很高興你問(wèn)到了這個(gè)問(wèn)題。實(shí)際上，在過(guò)去的五年里，這正是我們一直試圖做的事情，從某種程度上說(shuō)，這種多機(jī)器人訓(xùn)練的努力部分上是承認(rèn)了這種臂農(nóng)場(chǎng)方法的局限性。所以把很多機(jī)器人放在一個(gè)房間里是很好的，如果你想要原型化，比如說(shuō)，強(qiáng)化學(xué)習(xí)算法，但是如果你真的想要廣泛的泛化，它們不能都在同一個(gè)房間里。所以你真的需要更好地覆蓋世界，通過(guò)匯集來(lái)自許多不同地點(diǎn)的機(jī)器人的數(shù)據(jù)，現(xiàn)在你可以得到更好的覆蓋。現(xiàn)在這仍然是一個(gè)可能成為更大系統(tǒng)的原型，因?yàn)檫@些仍然是研究人員收集的數(shù)據(jù)集，本質(zhì)上是在做科學(xué)實(shí)驗(yàn)。所以你可以想象，將來(lái)，匯集不會(huì)是跨不同的研究實(shí)驗(yàn)室，而是跨不同的部署機(jī)器人。

Sergey: 現(xiàn)在，當(dāng)然，這是一個(gè)更復(fù)雜的任務(wù)，需要不僅僅是科學(xué)，還需要某種組織的努力，公司的共識(shí)等等。但我認(rèn)為，這實(shí)際上是真正的問(wèn)題，一旦這一點(diǎn)得以實(shí)現(xiàn)，你可以想象未來(lái)，來(lái)自各種不同地點(diǎn)的各種不同部署機(jī)器人的數(shù)據(jù)流將被聚合起來(lái)，然后用于訓(xùn)練一個(gè)集中式的機(jī)器人大腦，然后將其交給這些機(jī)器人以提高它們的性能。我們想要冒這個(gè)項(xiàng)目的風(fēng)險(xiǎn)的關(guān)鍵是，即使在任何規(guī)模下進(jìn)行這樣的操作，你知道，即使在學(xué)術(shù)實(shí)驗(yàn)室的規(guī)模下，你是否可以得到一個(gè)可以驅(qū)動(dòng)所有不同機(jī)器人的策略？因?yàn)槿绻@是不可能的，那么聚合異構(gòu)數(shù)據(jù)就行不通，我們需要想辦法進(jìn)行標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)化是困難的，所以現(xiàn)在我們知道的是，我們不必太擔(dān)心標(biāo)準(zhǔn)化。

Craig: 是的，這個(gè)模型，然后權(quán)重被傳遞，它們控制著不同形式的功能機(jī)器人，對(duì)吧，我是說(shuō)？或者它們只是變種？

Sergey: 所以在這些實(shí)驗(yàn)中，機(jī)器人都是帶有并行夾持器的手臂。我們現(xiàn)在正在試驗(yàn)單臂和雙臂系統(tǒng)之間的泛化。將來(lái)某個(gè)時(shí)候，我們還將研究多指系統(tǒng)等等。到目前為止，真相是有點(diǎn)廣告，它只是一個(gè)帶有并行夾持器的手臂。它們只是不同品牌的手臂。現(xiàn)在它們確實(shí)有很大的不同。所以小規(guī)模的業(yè)余Widow X手臂可能長(zhǎng)約50厘米，相對(duì)較小，夾持器較弱。而UR-10機(jī)器人是一種用于制造業(yè)的工業(yè)機(jī)器人，相當(dāng)大，更強(qiáng)壯，有更強(qiáng)大的電機(jī)，更強(qiáng)的夾持器，等等。所以有很多的變化。但它們?nèi)匀皇峭活愋汀?/span>

Craig: 是的，你在這些聚合數(shù)據(jù)上訓(xùn)練的模型是強(qiáng)化學(xué)習(xí)。你能描述一下這個(gè)模型嗎？

Sergey: 我們實(shí)際上訓(xùn)練了兩個(gè)模型。一個(gè)基于去年在谷歌開(kāi)發(fā)的RT1模型。RT1模型基本上是一個(gè)Transformer，它讀入語(yǔ)言指令、命令、圖像，然后輸出離散化的、分詞化的行為。所以它幾乎可以說(shuō)是基于Transformer的策略的最明顯的設(shè)計(jì)方式。第二個(gè)模型是RT2模型，這是一個(gè)更近期的發(fā)展，它實(shí)際上使用了一個(gè)來(lái)自預(yù)先訓(xùn)練的視覺(jué)語(yǔ)言模型的骨干。

Sergey: 所以視覺(jué)語(yǔ)言模型是經(jīng)過(guò)訓(xùn)練的，可以查看圖像并輸出文本問(wèn)題的回答。所以你給它一張圖片，然后你說(shuō)像這張圖片里有一只狗嗎？它會(huì)產(chǎn)生一些文本來(lái)回答。然后我們拿這個(gè)視覺(jué)語(yǔ)言預(yù)訓(xùn)練的骨干，然后進(jìn)一步在機(jī)器人數(shù)據(jù)上進(jìn)行微調(diào)，以輸出機(jī)器人觀察的機(jī)器人行為。所以你可以想象一下，VLM有很多任務(wù)可以做。它可以回答問(wèn)題，它可以產(chǎn)生標(biāo)題。現(xiàn)在還有一項(xiàng)任務(wù)，那就是給定一個(gè)機(jī)器人指令，輸出機(jī)器人的動(dòng)作。現(xiàn)在這是一個(gè)更強(qiáng)大的模型，因?yàn)樗衼?lái)自視覺(jué)語(yǔ)言模型預(yù)訓(xùn)練的互聯(lián)網(wǎng)知識(shí)，然后我們用于更復(fù)雜的查詢，如空間關(guān)系等等。

Craig: 你大部分的工作都是在數(shù)據(jù)方面還是在模型方面。

Sergey: 嗯，實(shí)際上兩者都是，某種程度上它們也是相輔相成的，因?yàn)槿Q于你的算法能處理什么，這將決定你需要獲得的數(shù)據(jù)類型。例如，我實(shí)驗(yàn)室現(xiàn)在做的更多的算法工作關(guān)注的是離線強(qiáng)化學(xué)習(xí)技術(shù)。

Sergey: 離線強(qiáng)化學(xué)習(xí)基本上是一種利用數(shù)據(jù)產(chǎn)生更優(yōu)策略的方法。因此，模仿學(xué)習(xí)方法。它們接收數(shù)據(jù)并產(chǎn)生重現(xiàn)數(shù)據(jù)中行為的策略。離線RL方法接收數(shù)據(jù)并嘗試產(chǎn)生比數(shù)據(jù)中平均行為更好的行為。因此，直觀地說(shuō)，你可以將其視為使用數(shù)據(jù)來(lái)了解可用的選項(xiàng)，然后在這些選項(xiàng)中選擇最佳的。實(shí)際上，像我們之前討論過(guò)的使用世界模型的方法，可以看作是離線RL方法，因?yàn)樗鼈兊墓ぷ鞣绞酵ǔＪ窃诂F(xiàn)有數(shù)據(jù)上訓(xùn)練世界模型，然后使用它來(lái)提取比數(shù)據(jù)集中典型的東西更好的控制策略。但也有其他建立離線RL技術(shù)的方式，不依賴于世界模型，而依賴于價(jià)值函數(shù)等等。

Craig: 你認(rèn)為研究將朝著什么方向發(fā)展，因?yàn)橐磺卸荚谌绱搜杆俚匕l(fā)展？對(duì)于機(jī)器人控制來(lái)說(shuō)，你認(rèn)為研究將會(huì)確定一種架構(gòu)，然后會(huì)有該架構(gòu)的不同版本，但每個(gè)人都會(huì)同意這是最好的方式，然后只是一個(gè)訓(xùn)練的問(wèn)題，泛化跨機(jī)器人和網(wǎng)絡(luò)化數(shù)據(jù)？還是你認(rèn)為將會(huì)有一系列模型用于各種功能？

Sergey: 是的，好問(wèn)題，所以我會(huì)給你一個(gè)答案。這是一個(gè)稍微理想化的答案，也許這更像是我希望事情朝著的方向發(fā)展。我不知道這是否一定是事情將會(huì)發(fā)展的方式，但我認(rèn)為對(duì)于機(jī)器人學(xué)來(lái)說(shuō)，采用一種習(xí)慣性地?fù)碛锌芍赜媚Ｐ偷姆妒绞欠浅Ｖ匾模谟?jì)算機(jī)視覺(jué)和自然語(yǔ)言處理中，如果一個(gè)研究人員提出了一個(gè)好的模型，其他機(jī)器人研究人員應(yīng)該能夠使用它。

現(xiàn)在，這可能看起來(lái)是一個(gè)非常明顯的事情，但實(shí)際上這并不是機(jī)器人學(xué)今天的工作方式。大多數(shù)機(jī)器人學(xué)習(xí)研究，產(chǎn)生的工件實(shí)際上不是模型，而是代碼、論文或見(jiàn)解。這些模型本身幾乎從來(lái)不是可移植的，更不用說(shuō)跨實(shí)驗(yàn)室甚至同一實(shí)驗(yàn)室不同位置，同一實(shí)驗(yàn)室不同時(shí)間等等。

Sergey: 我認(rèn)為我們真的需要將這個(gè)過(guò)程轉(zhuǎn)向一個(gè)方向，即我們有了在不同位置和系統(tǒng)、不同對(duì)象等等之間進(jìn)行泛化的數(shù)據(jù)集訓(xùn)練的模型，然后我們可以將其提供給其他研究人員、其他從業(yè)者，他們也可以在他們的系統(tǒng)上運(yùn)行，一旦我們找到了一個(gè)這樣做的好方法，也許使用像RTX數(shù)據(jù)集這樣的東西，它有多個(gè)機(jī)器人，也許使用其他數(shù)據(jù)，但是一些我們可以養(yǎng)成這種習(xí)慣的東西。

Sergey: 那么我們實(shí)際上可以作為一個(gè)社區(qū)朝著共享的、可泛化的系統(tǒng)的方向取得更多的進(jìn)展。現(xiàn)在，在這之前，絕對(duì)不能質(zhì)疑人們是否會(huì)使用相同的架構(gòu)、相同的模型，如果他們甚至不能在之間共享任何東西，那是不可能的。但是一旦我們可以分享一些東西，也許關(guān)鍵是一個(gè)數(shù)據(jù)集，它能夠?qū)崿F(xiàn)這一點(diǎn)，那么社區(qū)就可以找到解決辦法，也許到了那時(shí)，也許有一個(gè)單一的預(yù)訓(xùn)練的骨干，就像自然語(yǔ)言處理中的Lama模型，在機(jī)器人學(xué)中有一個(gè)類似的模型，然后人們可以在其上構(gòu)建。或者也許會(huì)有幾種這樣的東西。也許會(huì)有一些大的、設(shè)備齊全的實(shí)驗(yàn)室生產(chǎn)的東西，其他人就可以在此基礎(chǔ)上構(gòu)建。但在我們達(dá)到任何這些目標(biāo)之前，我們需要養(yǎng)成一個(gè)實(shí)際上可以運(yùn)行的模型的習(xí)慣。

Craig: 機(jī)器人學(xué)的另一方面就是硬件，我前幾天和一個(gè)人談話，他談到了機(jī)器人控制系統(tǒng)的未來(lái)，他非常樂(lè)觀，說(shuō)三到五年內(nèi)將會(huì)有家用機(jī)器人，這聽(tīng)起來(lái)對(duì)我來(lái)說(shuō)不太可能，因?yàn)閮H僅硬件方面就不是至少我見(jiàn)過(guò)的硬件，它們還沒(méi)有能力在充滿隨機(jī)性的非結(jié)構(gòu)化環(huán)境中進(jìn)行釋放。你認(rèn)為硬件與人工智能的發(fā)展步調(diào)一致嗎？還是滯后？

Sergey: 這是個(gè)很好的問(wèn)題。我認(rèn)為這個(gè)問(wèn)題非常重要的一部分就是我們需要什么樣的硬件。我認(rèn)為在很大程度上，學(xué)習(xí)方法實(shí)際上應(yīng)該降低硬件的門檻。基本上你可以做的一種練習(xí)是拿一個(gè)類似垃圾拾取器的小設(shè)備，看看你可以在家里做什么樣的任務(wù)。我是說(shuō)，顯然它非常有限，所以有些事情你可能做不到，但也有很多你可以做的事情。當(dāng)然你可以打掃地板，把東西放在廚房的不同位置。一個(gè)相對(duì)原始的機(jī)器人系統(tǒng)實(shí)際上可以完成很多事情。

Sergey: 切爾西·芬（Chelsea Finn）教授團(tuán)隊(duì)的一項(xiàng)非常出色的工作，我也在其中稍微幫了點(diǎn)忙，由一位名叫Tony Zhao的學(xué)生開(kāi)發(fā)了一個(gè)由Trostin Robotics的兩個(gè)低成本機(jī)器人組成的雙手臂機(jī)器人系統(tǒng)。所以這些甚至不是高級(jí)的工業(yè)機(jī)械臂。它們基本上是非常復(fù)雜的業(yè)余機(jī)器人。所以它們每個(gè)大約花費(fèi)5000美元，他的研究中大部分的聰明之處在于設(shè)計(jì)了一個(gè)非常方便的遠(yuǎn)程操作系統(tǒng)，一個(gè)他可以用手持的方式控制這個(gè)相當(dāng)便宜的雙手臂系統(tǒng)的遠(yuǎn)程操作裝置，他會(huì)展示各種非常復(fù)雜的行為。你可以看到像給腳穿鞋，用膠帶把箱子固定住等等，然后你知道可以產(chǎn)生自主策略的學(xué)習(xí)方法設(shè)計(jì)得很好，但并不特別深刻。

Sergey: 它基本上使用了最先進(jìn)的基于Transformer的技術(shù)，但并沒(méi)有真正具有任何特別驚人的創(chuàng)新。關(guān)鍵在于構(gòu)建一個(gè)真正好的遠(yuǎn)程操作系統(tǒng)，使他能夠產(chǎn)生這些行為，然后有一個(gè)非常高質(zhì)量的工程師將其轉(zhuǎn)化為策略。所以這被稱為阿羅哈系統(tǒng)，對(duì)于那些正在聽(tīng)的人，我鼓勵(lì)你們?nèi)タ匆豢矗赡軙?huì)給你們一些想法，即使是非常原始的硬件，如果配備了正確的數(shù)據(jù)，正確類型的遠(yuǎn)程操作裝置來(lái)提供數(shù)據(jù)和良好的基礎(chǔ)現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)。現(xiàn)在這仍然不能完成家務(wù)，但我懷疑對(duì)于觀看這些阿羅哈視頻的人們來(lái)說(shuō)，這可能會(huì)稍微改變他們對(duì)于我們每天任務(wù)所需硬件的想法。所以可能仍然存在一些創(chuàng)新，但可能比你想象的要少。

Craig: 這很有趣。控制器方面，人工智能方面，模型方面，這是？我是說(shuō)，如果那個(gè)硬件是足夠的，那控制方面還需要多少進(jìn)步？

Sergey: 這是一個(gè)復(fù)雜的問(wèn)題，因?yàn)檫@可能在很大程度上取決于對(duì)穩(wěn)健性和泛化程度的要求。在某種程度上，這有點(diǎn)類似于自動(dòng)駕駛的故事，如果你想要構(gòu)建一輛能夠在90%的情況下成功的自動(dòng)駕駛汽車，那么這可能是我們已經(jīng)有了十多年的事情了。但是如果你想要一輛能夠成功避免災(zāi)難性故障的自動(dòng)駕駛汽車，具有足夠的穩(wěn)健性，可以在任何城市的任何道路上部署，只需處理所有那些邊緣情況，那這仍然是一個(gè)懸而未決的問(wèn)題，我認(rèn)為對(duì)于家用機(jī)器人也將是一樣的，如果你想削減大部分的事情和大部分的情況，也許那還沒(méi)有完全到位，但我認(rèn)為可以想象我們很快就能達(dá)到那個(gè)目標(biāo)。但要完全解決那些邊緣情況需要多長(zhǎng)時(shí)間，這是一個(gè)更加復(fù)雜的問(wèn)題。

Sergey: 我認(rèn)為一個(gè)非常有趣的事情是，在過(guò)去的12個(gè)月中，視覺(jué)語(yǔ)言模型的發(fā)展程度，這對(duì)于機(jī)器人來(lái)說(shuō)尤其重要，因?yàn)殡m然視覺(jué)語(yǔ)言模型通常用于更多的感知、傳統(tǒng)感知任務(wù)、問(wèn)答等等，但是關(guān)于視覺(jué)觀察的推理，關(guān)于對(duì)象的空間布局的推理，這些事情很可能會(huì)轉(zhuǎn)化為更好的機(jī)器人能力，因?yàn)榉夯俏姨岬降哪切┐筇魬?zhàn)之一，邊緣情況問(wèn)題，我認(rèn)為有很多理由對(duì)這些模型最終改善機(jī)器人控制器的穩(wěn)健性感到樂(lè)觀。

Sergey: 人們正在談?wù)搶⒄Z(yǔ)言和視覺(jué)，或者我應(yīng)該說(shuō)語(yǔ)言和世界模型，結(jié)合到能夠進(jìn)行推理、規(guī)劃和采取行動(dòng)的代理中。這聽(tīng)起來(lái)對(duì)我來(lái)說(shuō)非常像機(jī)器人控制。

Sergey: 我想問(wèn)的是，研究和從事機(jī)器人控制的人們，研究走在不同的軌道上，答案有點(diǎn)復(fù)雜，但簡(jiǎn)單來(lái)說(shuō)，也許是，是與許多機(jī)器人問(wèn)題密切相關(guān)的。事實(shí)上，在機(jī)器人領(lǐng)域，有很多關(guān)于使用語(yǔ)言模型構(gòu)建計(jì)劃，然后將這些計(jì)劃連接到某種可以實(shí)現(xiàn)它們的控制機(jī)制的工作。現(xiàn)在，這方面的工作可能大約是在兩年前開(kāi)始的。在這個(gè)領(lǐng)域，可能更為人熟知的一項(xiàng)工作是谷歌的Seikan論文，它使用語(yǔ)言模型為機(jī)器人規(guī)劃了長(zhǎng)期行為。最初在這個(gè)領(lǐng)域，人們關(guān)注的一個(gè)重大挑戰(zhàn)是如何將語(yǔ)言模型與感知和行動(dòng)連接起來(lái)，因?yàn)闃?biāo)準(zhǔn)的語(yǔ)言模型必須在世界的符號(hào)表示上運(yùn)行，所以你必須將這些符號(hào)表示與豐富的感知和復(fù)雜的執(zhí)行聯(lián)系起來(lái)。最初這樣做的方法是沿著你描述的方式進(jìn)行的，試圖構(gòu)建一種聯(lián)合規(guī)劃過(guò)程，該過(guò)程將找出一個(gè)概率序列的符號(hào)步驟，基本上是語(yǔ)言，以及將導(dǎo)致這一結(jié)果的相應(yīng)行為。實(shí)際上，我的一位同事來(lái)自Skult，提出了一篇名為“基于地面的解碼”的論文，提出了一種貝葉斯濾波方法來(lái)做到這一點(diǎn)。不過(guò)，我們?cè)谶^(guò)去的大約六到九個(gè)月里看到的一件事是，隨著視覺(jué)語(yǔ)言模型變得越來(lái)越強(qiáng)大，一種非常吸引人的替代方案是，實(shí)際上訓(xùn)練模型來(lái)解決整個(gè)問(wèn)題。現(xiàn)在這些模型仍然可以進(jìn)行規(guī)劃。

Sergey: 如果你有一個(gè)視覺(jué)語(yǔ)言模型，可以輸出文本，也可以輸出行動(dòng)，你可以進(jìn)行類似于思維鏈提示的操作。你可以說(shuō)，好的，這里有一個(gè)復(fù)雜的問(wèn)題，然后產(chǎn)生解決該問(wèn)題的步驟，一旦你產(chǎn)生了這些步驟，然后產(chǎn)生行動(dòng)，這是可行的。所以你可以告訴一個(gè)機(jī)器人，好的，比如，準(zhǔn)備早餐，而要準(zhǔn)備早餐，我需要做這個(gè)和這個(gè)，然后，對(duì)于這個(gè)過(guò)程的第一步，它會(huì)嘗試輸出行動(dòng)。所以這是使用視覺(jué)語(yǔ)言模型的一種可行方式，但這仍然是一個(gè)模型。你仍然會(huì)得到一個(gè)模型，這是非常可取的，因?yàn)槿绻阌幸粋€(gè)模型，那么你就不需要解決這個(gè)問(wèn)題，試圖將視覺(jué)觀察數(shù)據(jù)塞入符號(hào)表示，然后傳遞給語(yǔ)言模型。基本上，通過(guò)整體的聯(lián)合訓(xùn)練，這個(gè)接口不是通過(guò)手工設(shè)計(jì)的，而是自然地出現(xiàn)。

Sergey: 這實(shí)際上是R2-2模型的原則，其中一個(gè)例子是我們?cè)儐?wèn)它。我們有意構(gòu)建了一個(gè)場(chǎng)景，其中正確的行為有點(diǎn)不明顯。所以我們有一個(gè)場(chǎng)景，里面有一些常見(jiàn)的家庭用品和一些錯(cuò)誤類型的工具，所以應(yīng)該用一個(gè)石頭釘子。沒(méi)有錘子，但有一塊石頭，我們問(wèn)，“好的，你需要用釘子釘入釘子，你應(yīng)該怎么做？”然后它想出了你應(yīng)該拿起石頭。它實(shí)際上說(shuō)了石頭，然后轉(zhuǎn)到相應(yīng)的行動(dòng)。所以現(xiàn)在這是非常原始的規(guī)劃，對(duì)吧？所以它更像是語(yǔ)義推理而不是規(guī)劃。但這些東西還處于萌芽階段。我認(rèn)為它們?cè)谖磥?lái)幾年里還會(huì)取得更大的進(jìn)步。

Craig: 在過(guò)去的五年里，我認(rèn)為自從我上次和你交談以來(lái)的時(shí)間，你們領(lǐng)域的進(jìn)步是否與生成式人工智能的進(jìn)步相一致？

Sergey: 我認(rèn)為機(jī)器人領(lǐng)域的進(jìn)步總是會(huì)落后于其他領(lǐng)域，因?yàn)楫?dāng)我們找到有效的學(xué)習(xí)技術(shù)時(shí)，然后從概念上的方法到產(chǎn)品，再到小規(guī)模原型，再到大規(guī)模原型，總是需要更長(zhǎng)的時(shí)間，因?yàn)閷?duì)于生成模型，嗯，你可以從網(wǎng)絡(luò)上獲取大量數(shù)據(jù)，所以從開(kāi)發(fā)方法到將其擴(kuò)展到互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)通常的延遲時(shí)間比較短。

Sergey: 但對(duì)于機(jī)器人來(lái)說(shuō)，通常情況并非如此。所以雖然生成模型的現(xiàn)代進(jìn)展確實(shí)對(duì)機(jī)器人產(chǎn)生了重大影響，而且這些技術(shù)的特別有趣的適應(yīng)是與強(qiáng)化學(xué)習(xí)、規(guī)劃等相結(jié)合，但我認(rèn)為到目前為止，我們對(duì)這些事物的潛力有很多良好的跡象，但我們還沒(méi)有像擴(kuò)散模型那樣為圖像生成或語(yǔ)言模型那樣的大規(guī)模原型。我認(rèn)為關(guān)鍵是獲得這些種類的可重用模型，這些模型具有大量且多樣化的數(shù)據(jù)，這樣我們就可以生產(chǎn)這些更大的原型。

Craig: 是的，那么你們實(shí)驗(yàn)室接下來(lái)會(huì)做什么？

Sergey: 我們希望做的一件事是向社區(qū)提供預(yù)訓(xùn)練模型，現(xiàn)在我們實(shí)際上有了一個(gè)可以輕松適應(yīng)各種下游應(yīng)用的數(shù)據(jù)集。所以不只是一個(gè)可以做任何事情的模型，也許這是一個(gè)太雄心勃勃的目標(biāo)，但至少是一個(gè)可以適應(yīng)做任何事情的模型。所以你可以想象，比如說(shuō)，一個(gè)模型被預(yù)先訓(xùn)練，用于接收語(yǔ)言、接收目標(biāo)觀察、其他形式的命令，并為各種不同的機(jī)器人體制輸出結(jié)果，這不一定是解決每個(gè)問(wèn)題，但至少提供了一個(gè)很好的初始化。所以如果有人有一個(gè)特定的機(jī)器人系統(tǒng)，有一個(gè)特定的任務(wù)表述，一個(gè)特定的目標(biāo)，他們可以拿來(lái)用這個(gè)，用更少的數(shù)據(jù)，來(lái)適應(yīng)他們的問(wèn)題。我認(rèn)為現(xiàn)在我們實(shí)際上已經(jīng)有了良好的多機(jī)器人數(shù)據(jù)集和相當(dāng)成熟的技術(shù)，可以訓(xùn)練具有可變輸入和輸出的模型，我們實(shí)際上已經(jīng)準(zhǔn)備好了。所以我們的第一個(gè)原型應(yīng)該很快就會(huì)推出。但這將是第一步。

Sergey: 接下來(lái)，我們需要探究這樣一個(gè)系統(tǒng)的生命周期實(shí)際上是什么樣的？哪些是有效調(diào)整機(jī)器人基礎(chǔ)模型到特定領(lǐng)域、不同形態(tài)、不同命令等的正確技術(shù)？在那里可能實(shí)際上有很多有趣的問(wèn)題需要解答。例如，機(jī)器人可以自主收集數(shù)據(jù)，因此你是否可以基于其中一個(gè)這些預(yù)訓(xùn)練模型來(lái)進(jìn)行自主微調(diào)程序？你是否可以有一個(gè)尊重安全約束的微調(diào)程序等等？所以一旦我們有了基礎(chǔ)模型，就有很多有趣的問(wèn)題可以解答。

Craig:我一直在和人們討論專有、開(kāi)源辯論的問(wèn)題。在生成式人工智能和機(jī)器人領(lǐng)域，是否存在類似的情況，即有著巨大資源的企業(yè)？我的意思是，機(jī)器人并不像你所說(shuō)的模型那樣計(jì)算密集型。是這樣嗎？因此，在產(chǎn)業(yè)和研究中發(fā)生的事情是否更加平等？

Sergey: 是的，這是復(fù)雜的。所以當(dāng)然，計(jì)算約束是一個(gè)問(wèn)題，尤其是當(dāng)我們進(jìn)入到視覺(jué)語(yǔ)言模型時(shí)。最有效的視覺(jué)語(yǔ)言模型實(shí)際上是最大的模型。例如，R2-2模型的最大版本有500億個(gè)參數(shù)，非常接近目前最大的模型。當(dāng)然，你可以在小得多的規(guī)模上做很多實(shí)驗(yàn)，這使得它在某種程度上更容易接近。

Sergey: 就數(shù)據(jù)而言，這有點(diǎn)有趣。肯定有一些公司部署了大量機(jī)器人。不過(guò)，這些公司的數(shù)據(jù)未必是最有趣的，因?yàn)槿绻鼈儾渴鹪谝粋€(gè)倉(cāng)庫(kù)里，主要是拿取物品，也許在某些方面，研究人員的開(kāi)放數(shù)據(jù)實(shí)際上更有趣。如果是移動(dòng)性問(wèn)題，如自動(dòng)駕駛，情況就有所不同，像是，確實(shí)有一些大型工業(yè)公司擁有自己的專有技術(shù)，但即使在那里，像是從汽車儀表板安裝的攝像頭構(gòu)建的數(shù)據(jù)集現(xiàn)在也非常龐大。當(dāng)然，它肯定不像特斯拉或Waymo

?擁有的那樣大，但是還是相當(dāng)可觀。所以我認(rèn)為你說(shuō)得對(duì)，一些專有優(yōu)勢(shì)可能并不那么大，但這有點(diǎn)。或許更悲觀的看法是，因?yàn)闆](méi)有人擁有數(shù)據(jù)，所以公司也沒(méi)有數(shù)據(jù)。

Craig: 自主車輛的控制和機(jī)器人手臂或其他形式因素的控制，它們是不同的領(lǐng)域嗎？我是說(shuō)，當(dāng)你們?cè)谘芯窟@些模型時(shí)，你們也在考慮它們?cè)谧詣?dòng)駕駛中的應(yīng)用嗎？

Sergey: 傳統(tǒng)上，這些是非常不同的問(wèn)題，但我們?cè)絹?lái)越多地看到一種整合的趨勢(shì)，因?yàn)榉浅Ｏ嗨频臉?gòu)建模塊可以被重用。所以我認(rèn)為實(shí)際上的自動(dòng)駕駛可能是其中最棘手的問(wèn)題之一，因?yàn)橛兴械募s束和法規(guī)等等。但對(duì)于小規(guī)模移動(dòng)機(jī)器人，比如，無(wú)人機(jī)、人行道機(jī)器人等，我們已經(jīng)有研究項(xiàng)目開(kāi)發(fā)了基于視覺(jué)的導(dǎo)航策略。對(duì)于這些東西，它們使用的基本上是與我們用于機(jī)器人操縱問(wèn)題的完全相同的架構(gòu)，一個(gè)非常自然的下一步是實(shí)際上結(jié)合起來(lái)，不僅僅是有相同的架構(gòu)，而是實(shí)際上是相同的模型。

Sergey: 原則上，在這一點(diǎn)上，實(shí)際上并沒(méi)有任何技術(shù)障礙。現(xiàn)在，當(dāng)然，開(kāi)車，比如說(shuō)，一輛自動(dòng)駕駛汽車的控制遠(yuǎn)不僅僅是避開(kāi)障礙物和到達(dá)目的地。你必須加入很多知識(shí)、約束等等，這可能是相當(dāng)專業(yè)化的。但我的假設(shè)是，我們可能會(huì)看到很多在這些東西的核心感知行動(dòng)系統(tǒng)上具有相同基本構(gòu)建塊的整合，也許它們的區(qū)別在于位于其上的規(guī)劃層，然后在特定情況下指導(dǎo)它們實(shí)際要做什么。

Sergey: 你的工作呢？因?yàn)橛?jì)算約束、資金、工資等等的原因，學(xué)術(shù)界對(duì)于產(chǎn)業(yè)的吸引力是否更大，或者你是否在學(xué)術(shù)界和產(chǎn)業(yè)之間工作？你是堅(jiān)定的嗎？

Sergey: 是的，我有20%的時(shí)間在谷歌DeepMind工作。我認(rèn)為，就產(chǎn)業(yè)研究員或?qū)W術(shù)研究員在機(jī)器人領(lǐng)域的吸引力或進(jìn)步程度而言，可能它更傾向于學(xué)術(shù)界，而不是像自然語(yǔ)言處理或視覺(jué)領(lǐng)域那樣。也許部分原因是因?yàn)樵谑虑檎嬲a(chǎn)生收入之前，還有許多大問(wèn)題需要解決，你可以構(gòu)建一個(gè)提供實(shí)際商業(yè)案例的語(yǔ)言模型或視覺(jué)系統(tǒng)，而類似的機(jī)器人技術(shù)可能還需要幾年的時(shí)間。不過(guò)，我確實(shí)認(rèn)為進(jìn)展迅速，我所帶領(lǐng)的許多學(xué)生對(duì)于基于他們正在開(kāi)發(fā)的技術(shù)創(chuàng)辦公司等事情感到興奮。所以我認(rèn)為在不久的將來(lái)我們將會(huì)看到這方面的追趕。

Craig: 你認(rèn)為今年AI進(jìn)入公共領(lǐng)域，人們經(jīng)常將機(jī)器人與AI混淆。這一天會(huì)到來(lái)嗎？我是說(shuō)，顯然這一天會(huì)到來(lái)，但你認(rèn)為什么時(shí)候會(huì)到來(lái)，當(dāng)會(huì)有一些商業(yè)應(yīng)用或開(kāi)源應(yīng)用被公眾接受時(shí)，人們會(huì)突然談?wù)摍C(jī)器人而不是AI嗎？

Sergey: 是的，這是一個(gè)復(fù)雜的問(wèn)題，因?yàn)槲艺J(rèn)為如果我必須猜測(cè)，我會(huì)猜測(cè)除了核心技術(shù)之外，還需要相當(dāng)大的前期投資來(lái)克服實(shí)用化的激活能量。在某種程度上，這并不是前所未有的，因?yàn)榕c語(yǔ)言模型幾乎相同的事情發(fā)生在那里。下一個(gè)令牌預(yù)測(cè)的核心技術(shù)是相當(dāng)古老的。真正需要的是將大量的精力投入到對(duì)它們進(jìn)行工程化和策劃，收集和組裝正確的數(shù)據(jù)集，使它們真正有效，以至于基本上任何人都可以使用。這部分。

Sergey: 那里有一個(gè)科學(xué)問(wèn)題，但很多問(wèn)題實(shí)際上是組織經(jīng)濟(jì)學(xué)的問(wèn)題，而這些問(wèn)題很難預(yù)測(cè)，因?yàn)樗鼈兏嗟嘏c人們決定何時(shí)投入大量資源來(lái)使之成為現(xiàn)實(shí)相關(guān)，而不僅僅是預(yù)測(cè)技術(shù)的進(jìn)化。技術(shù)可能會(huì)穩(wěn)步發(fā)展，但轉(zhuǎn)折點(diǎn)實(shí)際上是資源分配，所以我不能預(yù)測(cè)這將會(huì)發(fā)生的時(shí)間。如果我必須打賭，我會(huì)更接近于五年而不是十年，但我不確定。

Craig: 這個(gè)爭(zhēng)論已經(jīng)在社區(qū)中引起了很多爭(zhēng)議。你對(duì)此有什么看法，還是你的領(lǐng)域足夠獨(dú)立，你不會(huì)參與其中？

Sergey: 是的，這是一個(gè)復(fù)雜的問(wèn)題。我傾向于不太愿意參與這樣的討論，因?yàn)槲也惶_定事情會(huì)如何發(fā)展，我認(rèn)為，也許作為一個(gè)機(jī)器人學(xué)家，我可能更傾向于對(duì)我們整體AI系統(tǒng)的現(xiàn)狀有些悲觀。很難想象一個(gè)無(wú)法控制機(jī)器人進(jìn)行人類容易的基本事情的AI系統(tǒng)會(huì)有多么能力非凡，但這些東西很難預(yù)測(cè)。我認(rèn)為在AI研究中唯一的常數(shù)可能是，人們經(jīng)常被事情的易于想象以及事情的困難程度所驚訝。如果我們回到幾十年前，想到藝術(shù)家和作家會(huì)被AI系統(tǒng)威脅到，那是在園丁和清潔工之前，這是非常令人震驚的，但這是我們今天生活的世界。也許這告訴我們要對(duì)我們的預(yù)測(cè)保持一些謙虛。

Craig: 是的，沒(méi)錯(cuò)。全球各國(guó)政府非常關(guān)注對(duì)生成式AI

?的監(jiān)管。是否有關(guān)于機(jī)器人或AI和機(jī)器人的監(jiān)管，或者政府是否正在關(guān)注？是否有政府支持？有很多關(guān)于為研究和小型公司提供計(jì)算資源，以便這些資源不會(huì)被這些大型科技公司控制的討論。在機(jī)器人領(lǐng)域是否有這樣的討論，政府應(yīng)該或可以提供更多資源來(lái)加速研究？

Sergey: 是的，肯定有很多關(guān)于這個(gè)問(wèn)題的討論。就我所見(jiàn)，通常情況下，這并不是將機(jī)器人或人工智能與其他事物區(qū)分開(kāi)來(lái)的事情。當(dāng)然有關(guān)于這個(gè)的討論。但我還沒(méi)有看到很多實(shí)際行動(dòng)，但我想這是一個(gè)進(jìn)展緩慢的事情。在這方面，我不認(rèn)為我會(huì)和其他任何人工智能研究者說(shuō)出不同的話。從我目前所見(jiàn)，我認(rèn)為沒(méi)有任何特別特殊的事情對(duì)待機(jī)器人。但是，這是一個(gè)重大問(wèn)題，我們?cè)诿绹?guó)肯定需要認(rèn)真考慮我們?nèi)绾伪３旨夹g(shù)優(yōu)勢(shì)以及如何分配必要的資源。

Craig: 這引出了另一個(gè)問(wèn)題，因?yàn)槲以谥袊?guó)度過(guò)了我生命中的很多時(shí)間。在這項(xiàng)研究中，中國(guó)處于什么位置？你認(rèn)為他們領(lǐng)先還是落后？

Sergey: 我不太確定。有一件事我可以說(shuō)，我認(rèn)為來(lái)自中國(guó)大學(xué)的研究人員在人工智能的各個(gè)領(lǐng)域，包括機(jī)器人學(xué)，在所有領(lǐng)域都取得了很大的成功，而且肯定有很多非常有趣的研究成果來(lái)自中國(guó)。例如，當(dāng)我們進(jìn)行很多數(shù)據(jù)集收集工作時(shí)，我們實(shí)際上非常驚訝地發(fā)現(xiàn)，上海的一些研究人員發(fā)布了一個(gè)非常驚人的數(shù)據(jù)集，與我們收集的數(shù)據(jù)集在規(guī)模、范圍和多樣性上相當(dāng)，這很棒。他們以開(kāi)源的方式發(fā)布了它。我和他們通過(guò)電話交談過(guò)。他們對(duì)他們想要用它做什么有很有趣的想法，所以我看到了很多質(zhì)量和結(jié)果方面的提高。

Sergey: 另一個(gè)有趣的事情是，實(shí)際上有相當(dāng)多的硬件進(jìn)步是由中國(guó)的公司推動(dòng)的。例如，四足步行研究中最廣泛使用的平臺(tái)之一是來(lái)自中國(guó)的一個(gè)名為Unitary的公司，我認(rèn)為這個(gè)平臺(tái)之所以如此吸引人的原因是因?yàn)樗鄬?duì)簡(jiǎn)單，價(jià)格實(shí)惠，并且設(shè)計(jì)得讓研究人員容易進(jìn)入其中的內(nèi)部機(jī)制，我認(rèn)為這實(shí)際上也是一件非常好的事情，因?yàn)殡m然我們可能會(huì)擔(dān)心競(jìng)爭(zhēng)等問(wèn)題，但最終這實(shí)際上是加速了美國(guó)的研究進(jìn)程。這是我到目前為止所見(jiàn)到的，我不想對(duì)什么是好或壞做出價(jià)值判斷。看起來(lái)有很多事情在發(fā)生。

Craig: 這一期就到這里了。我要感謝Sergey抽出時(shí)間來(lái)和我們交談。與此同時(shí)，請(qǐng)記住，奇點(diǎn)也許不會(huì)很近，但人工智能正在改變你的世界，所以要注意。

本文轉(zhuǎn)載自 ??MoPaaS魔泊云??，作者： Sergey Levine