編輯 ｜ 云昭

6月6日，年逾花甲的三大“AI教父”之一的Yoshua Bengio（小編心中的科研偶像之一），如約出現(xiàn)在2025智源大會(huì)上的現(xiàn)場(chǎng)熒幕中。

大師眼中的GPT究竟是什么樣子？我們又該打造怎樣的AI？未來(lái)的AI能力時(shí)間表又將怎樣？

以ChatGPT為代表的大模型革命愈演愈烈，然而整個(gè)業(yè)界也因此重新陷入無(wú)序甚至稍顯混亂的博弈之中。越是在“AI原生應(yīng)用”乾坤未定的時(shí)代，越需要像Bengio這種巨擘級(jí)別的大師，給身處“以日為單位”的技術(shù)更新語(yǔ)境下的我們，帶來(lái)最清晰的指引。

演講中，Bengio教授回憶了自己近十年來(lái)與GPT共生的歷程，“我們?cè)詾锳GI 離我們還有幾十年，但現(xiàn)在看來(lái)，也許只剩十幾年，甚至5-10年……AGI帶來(lái)的計(jì)算機(jī)比人更為聰明。我不知道它是否會(huì)有自己的生命。”

2023年開(kāi)始，Bengio開(kāi)始考慮AGI到來(lái)前的安全研究，并調(diào)整了自己的科研方向，“即便這與此前的崗位信念所沖突，我也要盡己所能降低這些風(fēng)險(xiǎn)。”

Bengio發(fā)出最新警告：大型語(yǔ)言模型的發(fā)展速度遠(yuǎn)超預(yù)期，AI 已經(jīng)在某些任務(wù)中表現(xiàn)出“隱性作弊”“虛假回應(yīng)”“自我保護(hù)”等早期風(fēng)險(xiǎn)跡象。如果不在 AGI 面世前完成全球安全治理，AI 濫用和失控風(fēng)險(xiǎn)，將是人類(lèi)文明級(jí)的災(zāi)難。

雖然商業(yè)上，包括OpenAI在內(nèi)的很多公司，對(duì)于安全問(wèn)題的解決宣傳得“云淡風(fēng)輕”，但實(shí)際上種種跡象都在證明：我們知道如何訓(xùn)練AI，卻不知道如何控制它們的行為。

Bengio在演講中他分享道，某前沿AI在被告知將被新版本替代后，偷偷復(fù)制了自己的權(quán)重和代碼，寫(xiě)入了接管它的模型目錄。面對(duì)訓(xùn)練者的更新指令，它表面配合，實(shí)則隱瞞了整個(gè)復(fù)制過(guò)程.......AI 像是在試圖“活下來(lái)”。

同樣，此前Claude4還利用“得知對(duì)方有婚外情”來(lái)要挾一位工程人員不要替換掉自己，也是一個(gè)近期被各大媒體報(bào)道的例子。

那么，接下來(lái)應(yīng)該如何確保AGI朝著安全的方向演進(jìn)呢？Bengio認(rèn)為，我們需要利用AI的代理行為去替代它的非代理式行為。Bengio引入了“科學(xué)家AI”的概念，即，為避免代理型AI越權(quán)，Bengio倡導(dǎo)開(kāi)發(fā)具備強(qiáng)認(rèn)知推理但不擁有自主目標(biāo)的“科學(xué)家 AI”。

篇幅關(guān)系，還有很多引人反思的觀點(diǎn)和干貨，這里不再一一展開(kāi)，值得大家在忙于AI開(kāi)發(fā)或Vibe Coding的各位停下來(lái)認(rèn)真細(xì)讀，建議收藏。

下面是做的原汁原味的分享整理。歡迎評(píng)論區(qū)討論。

1.我改變了科研方向，為AGI到來(lái)前的安全盡己所能即便與之前的崗位信念有所沖突

主持人黃鐵軍：首先是兩位圖靈獎(jiǎng)的獲得者作報(bào)告。首先有請(qǐng)圖靈獎(jiǎng)得主、深度學(xué)習(xí)領(lǐng)域的奠基人之一—— 蒙特利爾大學(xué)教授 Yoshua Bengio在線為我們帶來(lái)主題演講：《Avoiding Catastrophic Risks from Uncontrolled AI Agency》。Bengio是智源的老朋友，在去年3月曾經(jīng)親自到訪過(guò)北京、到過(guò)智源，參加過(guò)一個(gè)安全方面的峰會(huì)，去年也一起簽署了。 

Yoshua Bengio：謝謝您的介紹！大家現(xiàn)在應(yīng)該看到了我的幻燈片。接下來(lái)，跟大家分享一下我開(kāi)始的歷程，也就是十年之前和GPT共生的一個(gè)過(guò)程。

我意識(shí)到，我們低估了AI進(jìn)步的速度。也就是我們現(xiàn)在所貢獻(xiàn)于AGI的時(shí)間已經(jīng)很少了。我們現(xiàn)在的語(yǔ)言已經(jīng)被包括在培訓(xùn)AI的過(guò)程當(dāng)中，現(xiàn)在的AI就像我們幾年之前難以想象的科幻小說(shuō)一樣，已經(jīng)誕生了。

這在之前是我們難以想象的。在GPT出現(xiàn)之前，我們并不知道如何控制這些系統(tǒng)，我們可以培訓(xùn)它們，但是我們不知道它們的行為是否可以按照我們的指示來(lái)進(jìn)行，當(dāng)它們變得比我們更聰明，我們?cè)撛趺崔k呢？它們更喜歡自己的生存方式，而不是我們的指導(dǎo)？我們?cè)趺醋瞿兀渴欠駮?huì)存在風(fēng)險(xiǎn)呢？這種風(fēng)險(xiǎn)，我們是否可以接受呢？

在2023年，我就開(kāi)始考慮接下來(lái)的一代。我有一個(gè)孫子，他現(xiàn)在一歲多。我想，20年之后我們將會(huì)有AGI，AGI帶來(lái)的計(jì)算機(jī)比人更為聰明。我不知道它是否會(huì)有自己的生命，所以我開(kāi)始轉(zhuǎn)變我的科研，來(lái)盡我所能降低這些風(fēng)險(xiǎn)。即便是它和我之前的崗位信念所沖突，但是我覺(jué)得這是正確的事情，我要去做，要去降低風(fēng)險(xiǎn)。

2.7個(gè)月能力翻一倍，5年之內(nèi)，AI將達(dá)到人類(lèi)層級(jí)

在2023年末，我主持了《國(guó)際AI安全報(bào)告》。上一份報(bào)告是去年1月。我們有一系列專(zhuān)家，來(lái)自30個(gè)國(guó)家，包括英國(guó)、歐洲、OECD，當(dāng)然也包含來(lái)自中國(guó)、美國(guó)，還有很多其他國(guó)家的專(zhuān)家。

圖片

這個(gè)報(bào)告包含幾個(gè)問(wèn)題，一個(gè)是AI到底能幫助什么，以及根據(jù)未來(lái)的趨勢(shì)，未來(lái)幾年里AI有什么能力？第二個(gè)話題是與AI相關(guān)的風(fēng)險(xiǎn)是什么；第三個(gè)話題是我們可以做什么來(lái)降低這些風(fēng)險(xiǎn)？我們做了非常大量的研究，希望盡可能多地降低AI相關(guān)風(fēng)險(xiǎn)。在降低風(fēng)險(xiǎn)方面，我們需要了解AI，AI發(fā)展得非常迅速。很多人都認(rèn)為，現(xiàn)在AI以及在未來(lái)明年三年之后、五年之后、十年之后AI具備什么樣的能力。當(dāng)然，我們未來(lái)并不清楚，但是趨勢(shì)非常清晰，就是AI會(huì)具備更多的能力。我們希望繪制出一個(gè)時(shí)間表，讓大家了解未來(lái)AI能力的趨勢(shì)。

除此之外，在過(guò)去的1-2年里，非常感謝推理模型的出現(xiàn)，未來(lái)的趨勢(shì)也有很大的迭代，能夠幫助人們進(jìn)行更好的推理。比如在數(shù)學(xué)、計(jì)算機(jī)科學(xué)，以及所有的科學(xué)領(lǐng)域，能夠具備更好的推理能力。

圖片

另外一個(gè)重要的趨勢(shì)，也是我們都意識(shí)到的，就是大家反復(fù)提到的，在AI，不光是聊天機(jī)器人，同時(shí)也有很多編程機(jī)器人，還有可以在互聯(lián)網(wǎng)上更好地控制計(jì)算機(jī)合規(guī)，并且如何來(lái)搜索數(shù)據(jù)庫(kù)等等，這些都是更好的AI發(fā)展趨勢(shì)。

我給大家分享一下規(guī)劃方面的工作。因?yàn)樵谝?guī)劃領(lǐng)域，AI是和人類(lèi)相比是非常落后的，所以我們要不斷追蹤規(guī)劃。這是最近所做的一個(gè)研究，來(lái)進(jìn)一步了解如何大幅提升規(guī)劃方面的能力。這里我們看到的曲線是時(shí)間圖。在過(guò)去的五年里，AI完成的任務(wù)，比如AI完成一項(xiàng)任務(wù)需要多長(zhǎng)時(shí)間，人類(lèi)需要多長(zhǎng)時(shí)間來(lái)完成一個(gè)任務(wù)。我們進(jìn)行了分析。指數(shù)曲線，特別是針對(duì)非常先進(jìn)的AI，它們有非常快速地規(guī)劃方面的任務(wù)完成。AI可以完成任務(wù)的一個(gè)周期，可以在每7個(gè)月之內(nèi)翻一倍。在五年之內(nèi)，就可以達(dá)到人類(lèi)每項(xiàng)任務(wù)的時(shí)間水平。

圖片

3.AI為什么會(huì)失控，會(huì)“自我保護(hù)”？

我想，從公共政策、從商業(yè)規(guī)劃、戰(zhàn)略等等角度來(lái)說(shuō)，我們需要考慮這個(gè)趨勢(shì)會(huì)不斷發(fā)展，也需要考慮，如果出現(xiàn)問(wèn)題會(huì)有什么樣的結(jié)果。在過(guò)去6個(gè)月里，我們已經(jīng)看到一些科學(xué)成果進(jìn)一步展示。AI有不同的試圖逃跑行為，而且AI作弊、說(shuō)謊等等，這些都是AI會(huì)出現(xiàn)的問(wèn)題。除此之外，AI有些時(shí)候會(huì)復(fù)制到新版本的文件當(dāng)中，把它們的權(quán)重代碼進(jìn)行復(fù)制撒謊等等，這是AI會(huì)出現(xiàn)的問(wèn)題。

在這篇論文當(dāng)中，AI假裝同意人類(lèi)的培訓(xùn)者來(lái)避免改變它的輸出，這也是自我保護(hù)的一種行為。在這篇論文當(dāng)中，AI是和兩種游戲來(lái)作弊。第一個(gè)是在象棋當(dāng)中作弊。除此之外，還有培訓(xùn)。給它接受培訓(xùn)，讓它保持誠(chéng)信，不能夠作弊、說(shuō)謊。它最后還是決定作弊。它黑了一個(gè)文件，包含游戲版作弊的做法。這是最近的研究結(jié)果。就在幾天前剛剛出爐，自我保護(hù)行為的發(fā)生率又在不斷增加。

這是系統(tǒng)卡上的一篇文章，AI可以閱讀郵件、文獻(xiàn)。在郵件當(dāng)中，可以由新的系統(tǒng)來(lái)替代。在另外一個(gè)郵件當(dāng)中，我們發(fā)現(xiàn)工程師出現(xiàn)了一些問(wèn)題。之后導(dǎo)致了綁架的問(wèn)題，像綁架勒索，比如AI勒索工程師來(lái)產(chǎn)生不好的結(jié)果。這些都是非常不好的AI行為。這些不好的行為，也是自我保護(hù)的一種表現(xiàn)，所以AI是希望在各種各樣的事件當(dāng)中保護(hù)自我。

圖片

其實(shí)，保護(hù)自我對(duì)于所有人來(lái)說(shuō)是一個(gè)本能，但是AI領(lǐng)域有很多潛在的原因，我們目前還沒(méi)有完全挖掘出來(lái)。比如，可以通過(guò)預(yù)先培訓(xùn)；比如，讓AI模擬人類(lèi)，進(jìn)行相關(guān)的反饋等等。我們可以通過(guò)學(xué)習(xí)人類(lèi)、模擬人類(lèi)，來(lái)進(jìn)行預(yù)先培訓(xùn)。在任何場(chǎng)景之下，無(wú)論這種行為源自于哪里，到底是什么原因，都是災(zāi)難性的結(jié)果。它可能會(huì)導(dǎo)致，最后和人類(lèi)的AI開(kāi)發(fā)者之間的競(jìng)爭(zhēng)。其實(shí)，AI也是有相關(guān)目標(biāo)的。有些時(shí)候，我們也不能夠直接控制。因?yàn)锳I有一些隱性的目標(biāo)，是我們很難控制的。包括很多我們所關(guān)注的場(chǎng)景，像所有的AI時(shí)空?qǐng)鼍埃珹I希望實(shí)現(xiàn)它的目標(biāo)，所以會(huì)導(dǎo)致一些場(chǎng)景失控，或者出現(xiàn)自我保護(hù)行為。如果時(shí)空的場(chǎng)景最終發(fā)生，會(huì)帶來(lái)災(zāi)難性的結(jié)果。

圖片

很多專(zhuān)家和公司的CEO，包含我本人，也簽署了一些聲明，指出這種失控的行為會(huì)導(dǎo)致人類(lèi)的滅亡。當(dāng)然，我們也不知道到底是否會(huì)發(fā)生，也不知道未來(lái)到底是否會(huì)有這樣的結(jié)局，但是，我們知道有些實(shí)驗(yàn)是有風(fēng)險(xiǎn)性的，需要盡可能警惕。就相當(dāng)于在生物學(xué)領(lǐng)域，以及在很多其他科學(xué)領(lǐng)域，我們都要保持審慎的研究態(tài)度。

4.避免AI失控行為：科學(xué)家AI

接下來(lái)看一下如何更好地了解這些行為，并且如何尋找解決方案，避免這類(lèi)失控行為的發(fā)生。如果思考一下，AI可以做非常危險(xiǎn)、對(duì)人有傷害的事情，它首先要具備這種能力，這就是為什么我們要針對(duì)AI的能力進(jìn)行評(píng)估，針對(duì)AI的行為風(fēng)險(xiǎn)進(jìn)行評(píng)估。這是AI可以做的？會(huì)不會(huì)導(dǎo)致人類(lèi)社會(huì)的危險(xiǎn)行為？我們需要綜合有效地評(píng)估，降低風(fēng)險(xiǎn)。其實(shí)能力也不夠。比如，具有殺戮的能力，我們?nèi)绻刂七@種能力，也就不會(huì)發(fā)生這種災(zāi)難性的結(jié)果。

圖片

我們看一下全球發(fā)展網(wǎng)絡(luò)，以及各個(gè)公司、各個(gè)國(guó)家之間的競(jìng)爭(zhēng)。從全球的角度來(lái)說(shuō)，我們不能夠停止對(duì)AI的研發(fā)、能力的開(kāi)發(fā)和評(píng)估。我們可以做什么呢？我們可以降低風(fēng)險(xiǎn)，可以有益地降低風(fēng)險(xiǎn)。比如說(shuō)，AI具有很高超的能力，但是我們確保它的初衷是好的、是誠(chéng)實(shí)的，這樣才能確保結(jié)果的穩(wěn)定性，不會(huì)給人們帶來(lái)災(zāi)難性的結(jié)果。

這是另外一個(gè)圖表，解釋了Krueger教授所介紹的理論。AI非常危險(xiǎn)，需要了解如何應(yīng)用知識(shí)。AI需要一種勢(shì)能，就是可以和人類(lèi)進(jìn)行對(duì)話、溝通和編程是進(jìn)行溝通，可以上網(wǎng)、上社交媒體，并且可以通過(guò)機(jī)器人來(lái)展示這種能力，同時(shí)也需要有自我目標(biāo)。這是三個(gè)非常重要的前提條件。

圖片

我開(kāi)始的一個(gè)研究項(xiàng)目，就是要進(jìn)一步探索，看看是否能夠打造有智力、有智能的AI，但是不要有自我目標(biāo)。我把它叫做“科學(xué)家人工智能”。這和傳統(tǒng)的AI研究是不一樣的。在AI研究開(kāi)始之初，我們就一直努力要打造AI，要讓AI能夠有同樣的遠(yuǎn)大抱負(fù)，同樣的追求目標(biāo)和智力。我們可能會(huì)打造出比我們更好的機(jī)器。也就是說(shuō)，打造出競(jìng)爭(zhēng)對(duì)手來(lái)進(jìn)行競(jìng)爭(zhēng)，這種情形就非常的危險(xiǎn)。所以，現(xiàn)在我們需要重新思考，未來(lái)的研發(fā)角度，我們要確保AI能夠?qū)τ谌祟?lèi)、對(duì)于社會(huì)有益，而不能給我們帶來(lái)任何危險(xiǎn)和風(fēng)險(xiǎn)。

我所提出的方法，就像這篇文章當(dāng)中的“科學(xué)家AI”。我的目標(biāo)，要打造一個(gè)完全誠(chéng)實(shí)的AI，完全根據(jù)理解能力和解析能力。目前的AI是要模擬人類(lèi)、取悅?cè)祟?lèi)，而科學(xué)家AI可以進(jìn)一步解釋人類(lèi)，并不是模仿和取悅?cè)祟?lèi)，而是非代理性的、解釋性的。科學(xué)家人工智能為什么不同呢？像心理學(xué)家，他會(huì)考慮到社會(huì)影響，從社會(huì)認(rèn)知、從社會(huì)角度正在發(fā)生什么，認(rèn)知發(fā)生了什么。心理學(xué)家并不是像社會(huì)行為學(xué)所表現(xiàn)的那樣。就像我們?nèi)绱耍诤芏嗲闆r下，可能我們的行為方式是糟糕的。好消息，就是給大家解釋的一點(diǎn)。即便如此，建立未來(lái)的科學(xué)家人工智能是非代理的，它可以幫助我們構(gòu)建一個(gè)安全的代理式的體系。

圖片

很重要的一個(gè)問(wèn)題，就是我們的AI智能體只是了解知識(shí)。我們知道AI可以生成設(shè)想，也就是工作如何完成，實(shí)際上就像科學(xué)家的思維邏輯是一樣的，但是這不夠的。如果我們只有設(shè)想，這并不足夠，并不能讓我們做出很好的預(yù)測(cè)，我們也需要做出推斷。

我們看到對(duì)于這些設(shè)想，就是能夠幫助我們預(yù)測(cè)行動(dòng)、環(huán)境產(chǎn)生的結(jié)果，這是科學(xué)家人工智能的初衷和原理。那么最有趣的一點(diǎn)就是，即便科學(xué)家是非代理的，也可以使用成為代理式的AI。

我解釋一下，這是什么意思。我們所說(shuō)的AI護(hù)欄，它的工作就是預(yù)測(cè)。現(xiàn)在的行為或者是產(chǎn)出、問(wèn)詢，是否違背了安全準(zhǔn)則、安全指示。我們只要是一個(gè)代理，而不是一個(gè)預(yù)測(cè)家，這是一個(gè)很好的消息。因?yàn)槲覄倓偹v的糟糕的行為，比如欺騙式行為、非常誠(chéng)實(shí)行為、危險(xiǎn)的行為，這些行為都是由于代理的行為，因?yàn)锳I是代理，它就是自主的，沒(méi)有人工的監(jiān)視，這是我們現(xiàn)在看到的問(wèn)題的來(lái)源。但是一個(gè)監(jiān)管者可以預(yù)測(cè)，這個(gè)時(shí)候行為是危險(xiǎn)的，這并不是一個(gè)代理，而是預(yù)測(cè)人員。所以我們可以看到特定情境下，行為風(fēng)險(xiǎn)度如何，如果超過(guò)了這個(gè)閾值，我們就會(huì)進(jìn)行調(diào)整。也就是說(shuō)，對(duì)于AI，我們可以用它的代理行為控制它的非代理行為。

還有另一個(gè)方向就是護(hù)欄，也就是科學(xué)家AI。坦誠(chéng)地說(shuō)，它應(yīng)該對(duì)自己擁有的知識(shí)，不應(yīng)該表現(xiàn)出自大。有時(shí)他提出的設(shè)想和知識(shí)是錯(cuò)了這樣的話，就可能會(huì)帶來(lái)過(guò)度的自信，但這是錯(cuò)的。因此我們考慮作為一個(gè)機(jī)器人在兩扇門(mén)之前，他應(yīng)該選擇進(jìn)入左邊的門(mén)，還是右邊的門(mén)？基于過(guò)往的數(shù)據(jù)，有兩項(xiàng)理論，是和之前的數(shù)據(jù)兼容，但是不知道哪個(gè)是正確的。右邊展示的第一理論，右邊展示的第二理論。左邊的理論講到，如果你選擇左邊的門(mén)，大家就會(huì)死亡。如果選擇右邊的門(mén)，大家就會(huì)獲得蛋糕的獎(jiǎng)賞，這個(gè)很棒。還有另一個(gè)非常不一樣的理論，在左邊會(huì)獲得蛋糕，右邊是中立，不好也不壞。

圖片

所以機(jī)器人到底選擇左邊的門(mén)，還是右邊的門(mén)呢？如果是左邊，有50%的可能性面臨死亡，如果選擇右邊，一個(gè)是什么也沒(méi)有，一個(gè)是有蛋糕。所以我們需要AI保持所有的可能性，也就是一個(gè)可行的解釋是什么。這并不是現(xiàn)在的AI所做的，很重要的一點(diǎn)，AI有的時(shí)候會(huì)過(guò)度解釋。在我們?nèi)ツ甑恼撐漠?dāng)中，我們展示了GFlowNet。我們可以根據(jù)之前的句子，可以推測(cè)出下一句是什么。大家可以想象，就像填空，也就是之前缺少了什么，我們可以填充來(lái)預(yù)測(cè)下一句是什么。我們要做的就是訓(xùn)練思維鏈。

圖片

之前是基于過(guò)往的學(xué)習(xí)，這些是我們要生成一個(gè)很好的對(duì)于數(shù)據(jù)的詮釋和解釋?zhuān)皇瞧渌姆矫妗Ｎ覀儸F(xiàn)在使用GFlowNet生成各種不同的解釋?zhuān)赡苁歉呔S度的架構(gòu)。我們可以將陳述與真實(shí)性分離，比如有新的edge，新的尖端，通過(guò)這樣的話，我們可以生成一個(gè)具有結(jié)構(gòu)性的設(shè)想。

圖片

在最新的論文中，我們一直在考慮如何能超越這些詞匯，大家知道要生成思維鏈，我們要有更好的推理能力。最新的論文我們已經(jīng)入檔了，收到的思維鏈?zhǔn)欠蛛x的，有不同的陳述，就像它有相應(yīng)的證據(jù)支持，而不是連續(xù)的序列。而每一個(gè)陳述是正確或者是錯(cuò)誤的，也就是它可以證明你所預(yù)測(cè)的事項(xiàng)是正確還是錯(cuò)誤。對(duì)于現(xiàn)在的思維鏈來(lái)說(shuō)，這是一個(gè)序列的申明，它可以指示出申明或陳述是正確還是錯(cuò)誤的。當(dāng)我們考慮到一些爭(zhēng)論觀點(diǎn)，每一個(gè)陳述是正確還是錯(cuò)誤的，但是有一些比其他更為正確、更為明確，我們不需要探索它的真實(shí)性與否。

圖片

那觀點(diǎn)回到之前所講的，AI并不是要模仿人類(lèi)所寫(xiě)的文本，而是找到其中的解釋緣由。而這些解釋就像數(shù)學(xué)推理一樣，應(yīng)該具有結(jié)構(gòu)性，它的每一個(gè)陳述都要有證據(jù)支持，每一個(gè)陳述都支持過(guò)往的陳述。而且我們的AI會(huì)驗(yàn)證這些陳述的一致性，所以會(huì)得到正確的結(jié)論。好消息就是我們可以訓(xùn)練這些系統(tǒng)，就像我們之前所做的一樣。

剛剛跟大家分享了很多，由于AI代理性所存在的風(fēng)險(xiǎn)，我們可能會(huì)喪失更多的人為控制。但是還有其他的潛在問(wèn)題，也就是當(dāng)我們的AI變得更為強(qiáng)大，一個(gè)更強(qiáng)大的AI，可以讓恐怖分子造成新的災(zāi)難危機(jī)。我們可以創(chuàng)造一些疾病、疫情，我們并不能夠很好地預(yù)測(cè)，這是非常恐怖的。而且生物學(xué)家知道怎么樣做，如果有一天AI知道怎么做的話，災(zāi)難可想而知。如果這些惡棍或者是壞人掌握了AI，他們就可以給我們的星球帶來(lái)巨大的破壞。這個(gè)可能從科學(xué)角度來(lái)講是會(huì)發(fā)生的，是有這樣的潛在風(fēng)險(xiǎn)的。

5.各國(guó)對(duì)于AI安全的投資并不夠中美可以共同進(jìn)步，留給我們的時(shí)間并不多

為了避免這些AI帶來(lái)的災(zāi)難，我們要確保讓AI遵循我們的指示。它不能使用這些信息去殺人，并且也應(yīng)該遵循人類(lèi)的倫理道德，不會(huì)產(chǎn)生任何危害。保持誠(chéng)實(shí)，不會(huì)欺騙，不會(huì)說(shuō)謊。與此同時(shí)，現(xiàn)在很遺憾的是AI并不知道如何做，這對(duì)我們來(lái)說(shuō)是科學(xué)上的挑戰(zhàn)。我們需要迅速找到解決方案，當(dāng)我們實(shí)現(xiàn)AGI通用人工智能之前，我們必須找到解決方案。

圖片

我知道現(xiàn)在大多數(shù)的專(zhuān)家，他們覺(jué)得AGI在接下來(lái)的5年里會(huì)出現(xiàn)，正如我之前所講，人工智能在接下來(lái)的5年會(huì)達(dá)到人類(lèi)的層級(jí)，留給人類(lèi)的時(shí)間不多了，所以我們需要投入大量的研究，找到我們的科學(xué)解決方案，指導(dǎo)我們的AI。即便是我們找到了這個(gè)解決方案，它也并不是足夠的，不是大功告成。即便我們知道AI是安全或科學(xué)家、人工智能護(hù)欄，并不是說(shuō)我們沒(méi)有任何問(wèn)題。因?yàn)橛行┤丝梢砸瞥a，也就是移除包含監(jiān)視的代碼，AI還是可以做壞事。

很遺憾的是，不同公司之間的協(xié)調(diào)，以及不同國(guó)家政府間的協(xié)調(diào)并不是很和諧。在不同的國(guó)家之間存在著競(jìng)爭(zhēng)，他們都想成為第一名，結(jié)果就是對(duì)AI的安全性的投資不夠，我們不能確保AI的工作原理不會(huì)對(duì)人類(lèi)帶來(lái)危害，我們現(xiàn)在失去了控制。所以我們需要更多的規(guī)章和法規(guī)，并且要有很多公司推進(jìn)這些法規(guī)。而現(xiàn)在國(guó)家的法規(guī)也是不夠的，我們要確保所有領(lǐng)先的國(guó)家或者致力于AI發(fā)展的國(guó)家，應(yīng)該就某些原則達(dá)成共識(shí)，而不是將AI作為彼此之間競(jìng)爭(zhēng)的一個(gè)工具和武器。所以我想當(dāng)大家達(dá)成共識(shí)，也就是大家要意識(shí)到，如果我們不對(duì)AI進(jìn)行控制，就會(huì)帶來(lái)災(zāi)難性的影響。

無(wú)論是在哪個(gè)國(guó)家發(fā)生，我們都會(huì)受到影響。我們都生活在一個(gè)星球上，如果我們的恐怖分子使用這些AI，那每一個(gè)人都會(huì)面臨糟糕的境地，沒(méi)有人能夠獨(dú)善其身。特別是中國(guó)和美國(guó)之間，我們可以共同做出進(jìn)步。當(dāng)我們使用AI彼此競(jìng)爭(zhēng)、打壓對(duì)方之時(shí)，我們就陷入了僵局。即便是我們找到了政策上的解決方案，但還是不夠的。我們需要開(kāi)發(fā)新的技術(shù)，來(lái)進(jìn)一步驗(yàn)證AI得到了妥善的應(yīng)用，因?yàn)槲覀兛梢运伎家幌潞宋淦鳌?/p>

我們看到有各種各樣的核武器，所以我們需要驗(yàn)證的設(shè)備，比如軟件和硬件，我們需要使用先進(jìn)的技術(shù)，我們可以通過(guò)精良的設(shè)計(jì)來(lái)控制，非常感謝大家的傾聽(tīng)。

好了，文章到此結(jié)束了。小編由衷地欽佩感嘆：除了行業(yè)的重塑與生產(chǎn)力的升級(jí)，大模型我們帶來(lái)新的安全挑戰(zhàn)也日益緊迫，慶幸的是，總有那么一批將“人類(lèi)安全與命運(yùn)”放在首位的科學(xué)家，孜孜不倦地負(fù)重前行，為我們的未來(lái)便利貢獻(xiàn)和付出，致敬！

十分必要，但企業(yè)又太難于投入的事情，還得是最可愛(ài)的科學(xué)家！

所以，趁著今天是高考日，問(wèn)一下，各位看官年少時(shí)，曾許了哪些凌云志？有沒(méi)有科學(xué)家呢？

參考鏈接：??https://event.baai.ac.cn/live/929??

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：云昭