01 近未來

1997年5月3日，IBM制造的國際象棋計算機“深藍”和國際象棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov，或許是歷史上最優秀的人類棋手）之間的國際象棋比賽開始了，美國《新聞周刊》稱這場比賽是“大腦的最后一戰”。前5局，雙方2.5∶2.5平分秋色。

 

5月11日，“深藍”在決勝局中戰勝了卡斯帕羅夫。IBM的市值一夜之間增加了180億美元。所有人都說，人工智能取得了巨大的突破。從人工智能研究的角度來看，這場比賽根本沒有突破。“深藍”的勝利雖然令人印象深刻，但它只是延續了幾十年來顯而易見的趨勢。國際象棋算法的基本設計是由克勞德·香農在1950年提出的，這一基本設計在20世紀60年代初實現了重大改進。此后，最優秀的國際象棋程序的等級評分穩步提高，這主要是因為計算機速度更快，讓程序能夠算到未來更遠處。

 

1994年，我和彼得·諾維格列出了1965年以來最好的國際象棋程序和國際象棋棋手的等級評分。在這個評分系統中，卡斯帕羅夫的評分是2805分。1965年，國際象棋程序的等級評分從1400分開始，在隨后的30年里以一條近乎完美的直線上升。從1994年開始推算，系統預測計算機將會在1997年擊敗卡斯帕羅夫，而這與現實完全相符。

 

對人工智能研究人員而言，真正的突破發生在“深藍”進入公眾視野之前的三四十年。類似的，在深度卷積網絡開始成為頭條新聞的20多年前，它就已經存在了，所有的數學問題都完全解決了。

 

公眾從媒體上看到的人工智能取得突破的觀點——人類取得的輝煌勝利，機器人成為沙特阿拉伯公民等，與全世界各地的研究實驗室里真正發生的事情幾乎沒有關系。在實驗室里，研究包括大量的思考、交流和在白板上寫數學公式。想法不斷產生、被拋棄和重新被發現。好的想法，即真正的突破，往往在當時沒有被注意到，可能直到后來才會被認為給人工智能的重大進步提供了基礎，或許是當有人在更合適的時間重新改造它的時候。想法是經過試驗的，它最初往往在簡單的問題上證明了基本直覺的正確性，然后在更困難的問題上，我們才能觀察到想法的延伸效果。通常，一個想法本身并不能提供能力上的實質性改進，它必須等待另一個想法的出現，二者結合才能證明價值。

 

所有這些活動都是外界完全看不見的。在實驗室之外的世界里， 只有當想法逐漸積累，當其有效性的證據超越一個閾值時，人工智能才會被看到：在這個臨界點上，人工智能值得投入資金開展技術工作，創造新的商業產品或令人印象深刻的演示了。然后，媒體宣布我們取得了突破。

 

因此，人們可以預期，在未來幾年里，世界各地的研究實驗室醞釀的許多其他想法將跨越商業適用性的門檻。隨著商業投資率的提高，以及世界對人工智能應用的接受程度越來越高，這種情況將會越來越頻繁地發生。本章提供了一些我們很快就會看到的例子。在此過程中，我將提到這些技術進步的一些缺點。你可能會想到更多的缺點，但別擔心。我將在下一章討論這些內容。

 

02 人工智能生態系統

最初，大多數計算機的運行環境基本上是空洞無形的：它們唯一的輸入來自穿孔卡片，唯一的輸出方法是在行式打印機上打印字符。也許由于這個原因，大多數研究人員將智能機器視為問答系統。直到20世紀80年代，機器作為智能體在環境中感知和行動的觀點才被廣泛接受。

 

20世紀90年代，萬維網的出現為智能機器開辟了一個全新的天地。人們創造了一個新詞“Softbot”，用來描述完全在Web等軟件環境中運行的“軟件機器人”。Softbot（后來被稱為 bot，即機器人）可以感知網頁，并通過發出字符序列、網址等來執行動作。

 

人工智能公司在互聯網繁榮時期（1997—2000年）迅速發展，為搜索和電子商務提供了核心能力，包括鏈接分析、推薦系統、信譽系統、比較購物和產品分類。

 

世紀初，配有麥克風、攝像機、加速計和GPS的手機普及開來，為人工智能系統進入人們的日常生活提供了新的途徑。亞馬遜Echo、谷歌Home和蘋果HomePod等“智能音箱”已經完成了這一過程。

 

到2008年左右，接入互聯網的物體數量已經超過了接入互聯網的人數，這一轉變被一些人認為是物聯網（IoT）的開端。這些物體包括汽車、家用電器、交通燈、自動售貨機、恒溫器、四軸飛行器、照相機、環境傳感器、機器人，以及在制造、分銷和零售系統中的各種物料。這為人工智能系統提供了更強大的感知能力和對現實世界的控制途徑。

 

最后，隨著感知能力的提高，人工智能機器人得以走出工廠，進入真實的、非結構化的、混亂的世界，在工廠里它們依賴于嚴格約束的對象排列，而走出工廠之后，它們的攝像機可以看到一些有趣的東西。

 

03 無人駕駛汽車

20世紀50年代末，約翰·麥卡錫設想有一天會有一輛無人駕駛汽車把他送到機場。1987年，恩斯特·迪克曼斯（Ernst Dickmanns）在德國的高速公路上展示了一輛無人駕駛的奔馳面包車，它可以保持在車道上行駛，尾隨在另一輛車后面，變換車道、超車。330多年過去了，我們仍然沒有一輛全自動汽車，但距離它成為現實已經越來越近了。開發的重點早已從學術研究實驗室轉移到大公司。截至2019年，性能最好的測試車輛已經在公共道路上行駛了數百萬英里（在駕駛模擬器中行駛了數十億英里），沒有發生嚴重事故。不幸的是，其他無人駕駛汽車和半自動駕駛汽車已經造成數人死亡。

 

我們為什么要花如此長的時間才能實現安全的無人駕駛？第一個原因是，性能要求非常嚴格。在美國，人類司機大約每行駛1億英里會遭遇一次致命事故，這設置了一個很高的標準。無人駕駛汽車要想被人們接受，就需要表現得比這更好，也許要每行駛10億英里出現一次致命事故才行?；蛘哒f，無人駕駛汽車如果每周行駛40小時，則25000年才會出現一次致命事故。

 

第二個原因是，一個預期的變通辦法——當交通情況混亂或超出其安全操作條件時，將控制權交給人類，根本行不通。當汽車無人駕駛時，人類很快就會脫離當前的駕駛環境， 無法足夠迅速地重新了解周圍環境，安全地接管汽車。此外，如果出了什么問題，坐在后座的非駕駛員或出租車乘客將無法駕駛汽車。

 

目前的項目目標是達到美國汽車工程師學會（SAE）的L4級自動駕駛。這意味著車輛必須在任何時候都能夠自動駕駛、安全停車，但是它受地理條件和天氣條件的限制。因為地理和天氣條件可能會發生變化，并且可能出現L4 級車輛無法處理的異常情況，所以必須有人在車內，并在需要時隨時準備接管汽車。（L5級是不受限制的自動駕駛，它不需要人工駕駛，但更難實現。）

 

L4級自動駕駛的自主性遠遠超出了簡單的反射型任務，如在白線內側行駛和避開障礙物。車輛必須基于當前和過去的觀察結果，評估所有相關物體的意圖和未來可能的軌跡，包括評估現在可能看不到的物體。然后，利用前向搜索，車輛必須找到一條優化了安全性的前進路徑。一些項目正在嘗試采用更直接的方法，這些方法基于強化學習（當然主要是模擬）和監督學習（從數百名人類駕駛員的記錄中學習），但是這些方法似乎不太可能達到所需的安全水平。

 

無人駕駛汽車的潛在好處是巨大的。每年，車禍造成全世界120萬人死亡，數千萬人受重傷。無人駕駛汽車的合理目標是將這些數字降低到現在的10%。一些分析還預測，交通成本、停車場設施成本將因此降低，擁堵和污染情況也將有所好轉。城市中的私家車和大型公共汽車將轉變為無處不在的共享無人駕駛電動汽車，提供門到門的交通服務，并為樞紐之間的高速公共交通連接提供支持。由于每位乘客每英里的運輸成本低至3美分，大多數城市可能會選擇免費提供這項服務，而讓乘客承受沒完沒了的廣告轟炸。

 

當然，要獲得所有這些好處，業界必須防范風險。如果有太多的死亡歸因于設計不當的實驗車輛，監管機構可能會暫停計劃中的部署，或者實施可能幾十年內都無法達到的極其嚴格的標準。當然，人們可能會決定不購買也不乘坐無人駕駛汽車，除非它們確實是安全的。2018年的一項民意調查顯示，與2016年相比，消費者對無人駕駛汽車技術的信任度大幅下降。即使這項技術取得了成功，向無人駕駛的過渡也將是一個令人感到尷尬的過程：人類駕駛技能可能會退步或消失，而由人類駕駛汽車這種魯莽和反社會的行為可能會被完全禁止。

 

04 智能個人助理

到目前為止，大多數讀者都已經體驗過不太智能的個人助理：把從電視購物節目中聽到的話當成購買指令去執行的智能音箱，或者聽到“給我打電話叫救護車！”（Call me an ambulance!）之后回答“好的，從現在開始我叫你‘Ann Ambulance’”的手機聊天機器人。這些系統本質上是應用程序和搜索引擎的語音接口，它們主要基于固定的刺激—反應模板。這種方法可以追溯到20世紀60年代中期的Eliza（人工智能軟件）。

 

這些早期的系統有三大缺陷：訪問缺陷、內容缺陷和語境缺陷。訪問缺陷，即它們對正在發生的事情缺乏感官意識，例如，它們可能能夠聽到用戶在說什么，但看不到用戶在和誰說話。內容缺陷，即它們根本無法理解用戶所說的話或發送的短信的含義，即便它們可以訪問這些內容。語境缺陷，即它們缺乏跟蹤和推理日常生活的目標、活動和關系的能力。

 

盡管存在這些缺點，智能音箱和手機助手仍為用戶提供了足夠的價值，它們進入了數億人的家中和口袋里。從某種意義上講，它們是人工智能的“特洛伊木馬”。因為它們就在你的身邊，嵌入幾乎每個人的生活中，它們的能力的每一個微小進步都價值數十億美元。

 

因此，進步正在密集而又迅速地到來?；蛟S最重要的是理解內容的基本能力：當它聽到“約翰在醫院”時，它要不僅僅會回答說“但愿沒有什么大礙”，而且還應了解更多實際信息，比如用戶8歲的兒子在附近的醫院，并且可能受了嚴重的傷或生了病。訪問電子郵件和文本通信以及（通過屋內的智能音箱）訪問電話和家庭對話的能力， 將為人工智能系統提供足夠的信息，它以此來構建關于用戶生活的合理且完整的畫面。這也許比為19世紀貴族家庭工作的管家或為如今的CEO（首席執行官）工作的行政助理獲得的信息還要多。

 

當然，僅僅了解原始信息是不夠的。智能助理要想真正發揮作用，還需要了解世界運轉的常識：醫院里的孩子不可能同時待在家中，因手臂骨折而住院的時長很少會超過一天或兩天，孩子的學校需要提前知道缺勤情況等。這樣的知識使智能助手能夠跟蹤它沒有直接觀察到的東西，這是智能系統的一項基本技能。

 

我認為，上一段中描述的能力在現有的概率推理技術下是可行的，但是這需要花費非常大的努力來構建構成我們日常生活的各種事件和事務的模型。到目前為止，由于所涉及的成本和不確定的回報，常識類的建模項目通常還沒有開始（可能在情報分析和軍事計劃的分類系統中除外）。然而現在，這樣的項目很容易觸及數億名用戶，因此投資風險更低，潛在回報更高。此外，通過接觸大量用戶， 智能助理可以快速學習并填補知識上的所有空白。

 

因此，人們有望看到的智能助理是，用戶每月只需付幾美分就可以讓它幫助自己管理越來越多的日常活動：日程、旅行、家庭購物、支付賬單、輔導孩子作業、發電子郵件和打電話、提醒、膳食計劃，以及人們“做夢都想找到的”鑰匙。這些技能不會分散在多個應用程序中。相反，它們將是一個單一、綜合的智能體的各個方面，這些方面可以從協同作用中受益，就像軍事人員所說的“通用作戰態勢圖”那樣。

 

智能助手的通用設計模板包括：關于人類活動的背景知識、從感知和文本數據流中提取信息的能力，以及使智能助手適應用戶的特定環境的學習過程。相同的通用模板至少可以應用于其他三個主要領域：健康、教育和財務。對于這些應用程序，系統需要跟蹤用戶的身體、思想和銀行賬戶的狀態（廣義地說）。與日常生活中的助理一樣， 在這三個領域中創建必要的通用知識所付出的前期成本要分攤到數十億名用戶身上。

 

例如，在健康領域，我們所有人的生理狀況大致相同，關于人體如何工作的詳細知識已經被編碼成機器可讀的形式。系統將適應你的個人特點和生活方式，提供疾病的預防建議和疾病的早期預警。

 

在教育領域，智能教學系統的前景早在20世紀60年代就得到了承認，但真正的進步還需要很長時間。主要原因是內容和訪問上的缺陷：大多數教學系統不理解它們聲稱要教授的內容，也不能通過語音或文本與學生進行雙向交流。（我在想象自己用我完全不會說的老撾語教授我完全搞不懂的弦理論的情景。）語音識別的最新進展意味著，自動化的教師最終可以與尚未完全識字的學生進行交流。

 

此外， 概率推理技術現在可以跟蹤學生的知識掌握情況，并優化教學內容， 最大限度地提高學習效果。始于2014年的“全球學習XPRIZE競賽” 提供了1500萬美元獎金，用于開發“開源的、可擴展的軟件，使發展中國家的兒童能夠在15個月內自學基本的閱讀、寫作和算術”。來自獲獎者“Kitkit School”（套件學校）和“onebillion”（十億）的結果表明，這一目標已基本實現。

 

在個人金融領域，系統將跟蹤個人的投資、收入流、強制性的支出和可自由支配的支出、債務、利息、緊急準備金等，就像金融分析師了解公司的財務情況和前景一樣。與處理日常生活的智能體進行整合，將使系統提供更細致的服務，甚至可以確保孩子得到他們的零花錢，孩子還會因為他們搞惡作劇而被扣掉一部分零花錢。人們在不久的將來將會獲得以往專為超級富豪準備的高質量的日常財務建議。

 

如果在閱讀上面幾段時，你的“隱私警報”沒有響起，那說明你沒有關注新聞。然而，隱私問題有多個層面。首先，如果你的個人助理對你一無所知，那么它真的有用嗎？大概沒用吧。其次，如果個人助理不能從多個用戶那里采集信息，從而更多地了解普通人和與你類似的人，那么它真的有用嗎？大概沒用吧。因此，這兩件事是否意味著我們必須放棄我們的隱私，才能在日常生活中受益于人工智能呢？

 

答案是否定的。原因是學習算法可以使用安全多方計算技術對加密數據進行操作，這樣用戶就可以在不損害自身隱私的情況下從資源池中獲益。軟件提供商會在沒有立法規定的情況下自愿采用隱私保護技術嗎？這還有待觀察。然而，似乎不可避免的是，只有當個人助理的主要職責是為用戶服務，而不是為開發它的公司服務時，用戶才會信任它。

 

05 智能家居和家用機器人

智能家居的概念已經發展了幾十年。1966年，西屋電氣的工程師詹姆斯·薩瑟蘭（James Sutherland）開始搜集多余的計算機部件，用來打造第一臺智能家居控制器ECHO。不幸的是，ECHO重800磅，電功率3.5千瓦，卻只能管理三個數字時鐘和電視天線。隨后的系統又要求用戶掌握極其復雜的控制界面。不出所料，它們從未流行起來。

 

從20世紀90年代開始，幾個雄心勃勃的項目試圖設計出能夠在人為干預盡可能少的情況下進行自我管理的住宅，并使用機器學習來適應居住者的生活方式。為了讓這些實驗有意義，必須有真人住在房子里。不幸的是，錯誤決策的頻繁出現使系統變得糟糕透頂——居住者的生活質量非但沒有提高，反而下降了。例如，在華盛頓州立大學2003年的MavHome項目中，如果訪客的就寢時間比居住者通常的就寢時間晚，那么他們就不得不坐在黑暗中，而這種情況經常發生。就像不太智能的個人助理一樣，這樣的失敗緣于系統對居住者活動的感官接觸不足，以及無法理解和掌握房子里發生的事情。

 

配備了攝像頭、麥克風，擁有必要的感知和推理能力的真正的智能住宅，可以理解居住者在做什么：做客、吃飯、睡覺、看電視、閱讀、鍛煉、為長途旅行做準備，還是跌倒后無助地躺在地板上。通過與智能個人助理配合，住宅可以非常清楚地知道誰會在什么時間進出房間，誰會在哪里用餐等。這種理解使它能夠管理暖氣、照明、百葉窗和安全系統，及時發送提醒，并在出現問題時通知用戶或提供應急服務。美國和日本的一些新建公寓樓已經采用了這種技術。

 

智能家居的價值因其執行器而受到限制。雖然更簡單的系統（定時恒溫器、動作感應燈和防盜報警器）對環境不那么敏感，但它們可以用更可預測的方式提供許多相同的功能。智能家居不能疊衣服、洗碗或拿報紙。它的確需要一個物理機器人來執行它的指令。

 

我們等待的時間可能不會太久。機器人已經展示了許多必需的技能。在我的同事彼得·阿貝爾（Pieter Abbeel）所在的加州大學伯克利分校實驗室中，BRETT（Berkeley Robot for the Elimination of Tedious Tasks，意為“消除煩瑣任務的伯克利機器人”）自2011年以來一直在疊成堆的毛巾，而波士頓動力公司的SpotMini機器人可以爬樓梯和開門。有幾家公司已經在制造烹飪機器人了，盡管它們需要特殊的封閉式設置和預先切好的食材，而且在普通的廚房里無法工作。

 

實用家用機器人需要三種基本能力：感知能力、機動性和靈活性。其中，靈活性最成問題。正如布朗大學的機器人學教授斯蒂芬妮·泰利克斯（Stefanie Tellex）所說：“大多數機器人在大部分時間里都無法拿起大多數物體。”其原因有三：一是觸覺感知問題；二是制造問題（目前，制造一只靈巧的機械手成本非常高）；三是算法問題，我們還沒有很好地理解如何將感知和控制結合起來，以掌握和操縱家庭中各種各樣的常見物體。僅僅針對剛性物體就有幾十種抓握類型，并且有成千上萬種不同的操作技巧，比如從瓶子里倒出兩粒藥丸，撕掉果醬罐上的標簽，在軟面包上涂抹硬黃油，或者用叉子從鍋里挑起一根意大利面條，看看它是否熟了。

[[378062]]

BRETT機器人疊毛巾（左）；波士頓動力公司的SpotMini機器人正在開門（右）

觸覺感知和制造問題有可能通過3D（三維）打印來解決，波士頓動力公司已經將3D打印用于Atlas人形機器人的一些更復雜的部分。機器人的操作技能正在迅速進步，這在一定程度上得益于深度強化學習。最后的推動力——把所有這些整合到一起，形成近似于電影中的機器人那種令人敬畏的身體技能，很可能來自相當乏味的倉儲行業。

 

這個行業里只有亞馬遜一家公司雇用了幾十萬人，他們從大型倉庫的箱子中挑出產品，然后分發給顧客。從2015年到2017年，亞馬遜每年都會舉辦一次“挑揀挑戰賽”，以加速能夠完成這項任務的機器人的發展。雖然還有很長的路要走，但當核心研究問題得到解決時——很可能在10年內，我們就可以期待高性能機器人的迅速問世。它們最初將用于倉庫，然后用于其他商業應用，如農業和建筑業，在這些應用中，各種任務和對象都是相對可預測的。我們也可能很快會看到它們在零售部門做一些工作，比如給超市貨架裝貨和把衣服重新疊好。

 

第一個真正受益于家庭機器人的群體是年老體弱的人，對他們而言，實用的機器人可以提供一定程度的獨立性，這種獨立性在其他情況下無從得到。即使機器人能夠完成的任務很有限，而且它們對正在發生的事情只有初步的理解，它們也非常有用。而要制造那種可以從容地管理家務，并預見主人每一個愿望的機器人管家，我們仍然有一段路要走，因為這需要某種接近人類水平的人工智能的通用性。

 

06 全球層面的智能

發展理解語音和文本的基本能力，將會使智能個人助理可以做一些人類助理做的事情。（但是它們做這些事的成本是每月幾便士，而不是每月幾千美元。）基本的語音和文本理解能力，也會讓機器能夠做一些人類做不到的事情——不是因為理解的深度，而是因為事情的規模。例如，一臺具備基本閱讀能力的機器將能夠在午餐時間閱讀人類曾經寫過的所有內容，然后它會四處尋找其他事情做。憑借語音識別能力，它可以在下午茶之前收聽每一個廣播和電視節目的音頻。相比之下，僅僅為了閱讀完當前世界上所有的出版物（更不用說過去所有的書面材料）就需要20萬名全職人員，收聽當前的廣播則還需要6萬名全職人員。

 

這樣一個系統，如果它能提取簡單的事實性陳述，并能跨所有語言整合所有這些信息，那么它就會成為令人難以置信的回答問題和揭示模式的資源，可能比目前價值約1萬億美元的搜索引擎還強大得多。它對歷史學和社會學等領域的研究價值將是不可估量的。

 

當然，監聽世界上所有的電話也是可能的（這項工作需要大約2000萬人）。有些秘密機構會發現這很有價值，其中一些機構多年來一直在進行簡單的大規模機器監聽，比如找出對話中的關鍵詞，現在已經過渡到將整個對話轉錄成可搜索的文本。轉錄當然有用，但不如同時理解和整合所有對話的內容有用。

 

機器可以利用的另一種“超級力量”是瞬間看到整個世界。粗略地講，衛星每天以每像素約50厘米的平均分辨率拍攝整個世界。在這個分辨率下，地球上的每一棟房子、每一艘船、每一輛汽車、每一頭奶牛和每一棵樹都清晰可見。檢查所有這些圖像需要超過3000萬名全職員工。因此，目前沒人能遍覽絕大多數衛星數據。計算機視覺算法可以處理所有這些數據，生成一個每天更新的可搜索的全球數據庫，還能生成經濟活動、植被變化、動物遷徙和人口流動、氣候變化影響等的可視化和可預測模型。像Planet（星球）和 DigitalGlobe（數字地球）這樣的衛星公司正忙著把這一想法變成現實。

 

隨著全球層面的感知成為可能，全球層面的決策也在成為可能。例如，通過全球衛星數據，人們可以建立詳細的模型來管理全球環境，預測環境和經濟干預的影響，并為聯合國的可持續發展目標提供必要的分析輸入。我們已經看到了“智慧城市”控制系統，它旨在優化交通管理、運輸、垃圾收集、道路維修、環境保護和其他造福市民的功能，這些可能會拓展到國家層面。直到最近，這種程度的協調仍然只能通過龐大、低效的人類官僚機構來實現，這些將不可避免地被照顧我們集體生活越來越多方面的超級智能體所取代。當然，隨之而來的可能是全球范圍內的隱私侵犯和社會控制，我將在下一章討論這個問題。

07 超級人工智能何時到來？

人們經常讓我預測超級人工智能何時到來，而我通常拒絕回答，原因有三。首先，歷史上預測出錯的情況經常出現。例如，1960年，人工智能先驅、諾貝爾經濟學獎得主赫伯特·西蒙（Herbert Simon）寫道：“從技術上講……20年內，機器將能夠勝任人類能做的一切工作。”1967年，達特茅斯會議（1956年該研討會首次提出“人工智能”的概念）的聯合組織者馬文·明斯基寫道：“我相信，在一代人的時間內，機器會攻克幾乎所有智力領域，創造‘人工智能’的問題將得到實質性解決。”

 

第二個原因是，超級人工智能將要跨越的門檻并不明確。機器在某些領域已經超越了人類的能力。這些領域將會被拓展和深化，在我們擁有一個完全通用的超級人工智能系統之前，很有可能會出現“超級通用知識系統”“超級生物醫學研究系統”“超級靈巧和敏捷的機器人”“超級企業規劃系統”等。這些“不完全超級智能”的系統，無論是單獨的還是集體的，都會產生許多與通用智能系統相同的問題。

 

第三個原因是，超級人工智能何時到來在本質上是不可預測的。正如約翰·麥卡錫在1977年的一次采訪中指出的那樣，超級人工智能需要“概念上的突破”。他接著說：“要想造出超級人工智能，你需要的是1.7個愛因斯坦和0.3個曼哈頓計劃，而你首先需要的是愛因斯坦。我相信這需要5到500年的時間。”在下一節中，我將解釋一些概念上的突破可能是什么。它們到底有多不可預測？也許就像在盧瑟福宣布鏈式核反應完全不可能的幾個小時后，西拉德就發明了鏈式核反應一樣不可預測。

 

在2015年世界經濟論壇的一次會議上，我回答了我們何時才能看到超級人工智能的問題。這次會議是按照“查塔姆宮守則”進行的，這意味著任何出席會議的人都不能對外發表任何言論。即便如此，出于謹慎的考慮，我還是在我的回答前面加上了“嚴格保密”4個字。我提出，除非發生災難，否則超級人工智能很可能出現在我孩子的有生之年。因為他們還很年輕，隨著醫學的進步，他們可能比參加會議的許多人活得更長。結果不到兩個小時后，《每日電訊報》就刊登了一篇文章，引用了我的言論，還配上了狂暴的終結者機器人的圖片，標題是《“反社會”機器人可能在一代人的時間里超越人類》。

 

我提出的時間點（比如說那之后80年）比典型的人工智能研究者的觀點要保守得多。最近的調查表明，大多數活躍的研究人員預計人類水平的人工智能將在21世紀中葉到來。我們在核物理學方面的經驗表明，假設進展可能會很快出現，那么人們做好相應的準備才是明智的。如果只需要一個類似于西拉德發現中子誘發的鏈式核反應這種概念上的突破，某種形式的超級人工智能就可能會突然出現，那么到時我們很有可能毫無準備：如果我們制造出了具有任意程度自主能力的超級智能機器，我們很快就會發現人類無法控制它們。然而， 我相當有信心，我們尚有喘息的空間，因為現在和超級人工智能之間還隔著好幾個重大突破，而不僅僅是一個。

 

人工智能可以提供的功能是受限的。土地和原材料并不是無限的，因此人口不可能無限增長，也不可能每個人都在私人公園里擁有豪宅。（因為那需要在太陽系的其他地方采礦，并在太空中建造人工棲息地，但我承諾過不談科幻小說。）驕傲也是受限的：在給定的所有指標中，只有1%的人可以排在前1%。如果躋身前1%才能感到幸福，那么99%的人就不會幸福，即使那些處在前1%末尾的人也擁有客觀上美好的生活方式。因此，對我們的文化而言，逐漸淡化驕傲和嫉妒是感知自我價值的重要因素，這一點很重要。

正如尼克·波斯特洛姆（Nick Bostrom）在他的書《超級智能》的結尾所說的那樣，人工智能的成功將催生“一條文明軌跡，實現富有同情心地使用人類被賦予的宇宙資源的文明的進步”。如果我們不能充分利用人工智能的優勢，那么我們只能怪自己。