幾張貼紙就能「改變」交通標志識別結(jié)果，轉(zhuǎn)個方向就看不出圖中的動物種類，今天的人工智能系統(tǒng)經(jīng)常會出現(xiàn)莫名其妙的 bug。最新一期《自然》雜志上的這篇文章向我們介紹了深度學(xué)習(xí)為什么如此容易出錯，以及解決這些問題的研究方向。

一輛自動駕駛汽車在接近停止標志時非但沒有停車，反而加速駛?cè)肓朔泵Φ氖致房凇Ｒ环菔鹿收{(diào)查報告顯示，該汽車之所以做出這種決策，是因為停止標志的表面貼了四個小矩形。這樣一來，自動駕駛汽車就把停止標志識別為了「限速 45」。 

這種事件其實還沒有在實際中發(fā)生，但蓄意破壞 AI 系統(tǒng)的可能卻是真實存在的。在停止路牌上貼標簽、在帽子和眼鏡上貼貼紙都有可能成功欺騙自動駕駛系統(tǒng)和人臉識別系統(tǒng)，還有研究者用白噪音來欺騙語音識別系統(tǒng)。

這些案例都說明欺騙一個領(lǐng)先的 AI 模式識別系統(tǒng)（即深度神經(jīng)網(wǎng)絡(luò)）有多么容易。這些系統(tǒng)已經(jīng)在我們生活中無處不在，但只要對這些系統(tǒng)的輸入做一些微小的改動，最好的神經(jīng)網(wǎng)絡(luò)也會受到欺騙。

在尋找問題的過程中，研究人員發(fā)現(xiàn)了 DNN 失效的很多原因。「深度神經(jīng)網(wǎng)絡(luò)本質(zhì)的脆弱性是無法修復(fù)的，」谷歌 AI 工程師 François Chollet 指出。Chollet 及其他研究者認為，為了克服這些缺陷，研究者需要借助其他力量來鞏固模式匹配 DNN：例如，讓 AI 能夠自己探索世界、自己寫代碼并保留記憶。一些專家認為，這類系統(tǒng)將成為未來十年 AI 研究的主題。

接受現(xiàn)實的檢驗

2011 年，谷歌推出了一個能識別貓的系統(tǒng)，從此掀起了 DNN 分類系統(tǒng)的研究高潮。人們驚呼：計算機終于可以理解世界了！

但 AI 研究者知道，DNN 其實并不理解這個世界。它們粗略地模仿大腦結(jié)構(gòu)，其實是一種由分布在很多層上的數(shù)字神經(jīng)元組成的軟件結(jié)構(gòu)。每個神經(jīng)元與其相鄰層的神經(jīng)元相連接。

其基本思想是，原始輸入（如圖像的像素）的特征進入底層，觸發(fā)一些神經(jīng)元，然后根據(jù)簡單的數(shù)學(xué)規(guī)則將信號傳到上層的神經(jīng)元。訓(xùn)練一個 DNN 網(wǎng)絡(luò)需要將其暴露在大量樣本中，然后每次調(diào)整神經(jīng)元的連接方式，最終由上層得出想要的答案，比如把某頭獅子的圖像識別為獅子，盡管 DNN 從未見過這一頭獅子的照片。

對 DNN 進行的首次重大檢驗發(fā)生在 2013 年。當時，谷歌的研究者 Christian Szegedy 及其同事發(fā)表了一篇名為「『Intriguing properties of neural networks」的預(yù)印版論文。該團隊表明，通過修改幾個像素就能誤導(dǎo) DNN 將獅子識別為圖書館等其他物體。他們將修改后的圖像稱之為「對抗樣本」（adversarial example）。

一年之后，Clune 等人組成的團隊表明，讓 DNN 看到不存在的物體也是可能的，如在波浪形線條中看到企鵝。「任何從事過機器學(xué)習(xí)研究的人都知道，這些系統(tǒng)經(jīng)常會犯一些低級錯誤，」Yoshua Bengio 說道，「但這種錯誤令人驚訝，而且出人意料。」

新型錯誤層出不窮。去年，Nguyen 證明，簡單地旋轉(zhuǎn)物體就能淘汰一波當前最好的圖像分類器。今年，Hendrycks 等人報告稱，即使是未經(jīng)篡改的自然圖片也能騙到當前最好的分類器，使其將蘑菇識別為餅干。

這個問題不止在目標識別中出現(xiàn)：任何使用 DNN 對輸入進行分類的 AI 都能被騙到，如使用強化學(xué)習(xí)的游戲 AI，在屏幕上隨機添加幾個像素就能讓智能體輸?shù)舯荣悺?/p>

DNN 的弱點會給黑客接管 AI 系統(tǒng)提供可乘之機。去年，谷歌的一個團隊表明，使用對抗樣本不僅可以迫使 DNN 做出某種錯誤決策，也可能徹底改變程序，從而有效地將一個訓(xùn)練好的 AI 系統(tǒng)用于另一項任務(wù)。

許多神經(jīng)網(wǎng)絡(luò)理論上都能用來編碼任何其他計算機程序。「理論上來說，你可以將一個聊天機器人轉(zhuǎn)化為任何你想要的程序，」Clune 表示。在他的設(shè)想中，不遠的將來，黑客就能夠劫持云中的神經(jīng)網(wǎng)絡(luò)，運行他們自己的垃圾郵件躲避算法。

加州大學(xué)伯克利分校的計算機科學(xué)家 Dawn Song 認為，DNN 很容易受到攻擊，但防守卻非常困難。

能力越大越脆弱

DNN 非常強大，因為它們有很多層，也就意味著它們可以識別出輸入的不同特征模式。經(jīng)過訓(xùn)練，用于識別飛行器的 AI 算法有可能會找到諸如色塊、紋理、背景等因素與預(yù)測目標具有關(guān)聯(lián)性。但這也意味著輸入內(nèi)容的很小變化就可以讓 AI 的識別結(jié)果出現(xiàn)明顯的變化。

解決方法之一就是簡單地給 AI 投喂更多數(shù)據(jù)，特別是多訓(xùn)練出錯的情況以糾正錯誤。在這種「對抗性訓(xùn)練」的情況下，一個網(wǎng)絡(luò)學(xué)會識別目標，另一個網(wǎng)絡(luò)嘗試修改第一個網(wǎng)絡(luò)的輸出，并制造錯誤。通過這種方法，對抗樣本成為了 DNN 訓(xùn)練數(shù)據(jù)的一部分。

Hendrycks 等研究者建議測試 DNN 在各種對抗樣本的性能，從而量化 DNN 對犯錯的魯棒性。他們表明，訓(xùn)練能抵御一種攻擊的神經(jīng)網(wǎng)絡(luò)可能會削弱它對其他攻擊的抵抗力，而魯棒性的 DNN 不應(yīng)該因其輸入的微小擾動而改變其輸出。這種因擾動而改變最終結(jié)果的屬性，很可能是在數(shù)學(xué)層面上引入神經(jīng)網(wǎng)絡(luò)的，它限制了 DNN 學(xué)習(xí)的方式。

然而在當時，沒有人可以解決所有 AI 都很脆弱這一問題。問題的根源，根據(jù) Bengio 的說法，深度神經(jīng)網(wǎng)絡(luò)中沒有一個很好的可以選擇什么是重要的模型。當 AI 觀察一個將獅子篡改為圖書館的圖片，人類依然可以看到獅子，因為他們有一個思維模型，能夠?qū)游镆暈楦呒壍奶卣?mdash;—如耳朵、尾巴、鬃毛等。而其他低級別的細節(jié)則會被忽略掉。「我們知道從先驗知識中學(xué)習(xí)什么特征是重要的，」Bengio 說，「而這來自于對結(jié)構(gòu)化的世界的深度理解。」

解決此問題的一種嘗試是將 DNN 與符號 AI 結(jié)合起來。符號 AI 也是機器學(xué)習(xí)之前，人工智能的主要方法。借助符號 AI，機器可以使用關(guān)于世界如何運作的硬編碼規(guī)則進行推理，例如它包含離散的對象，之間以各種方式相互關(guān)聯(lián)。一些研究人員，例如紐約大學(xué)的心理學(xué)家 Gary Marcus 說，混合 AI 模型是前進的方向。「深度學(xué)習(xí)在短期內(nèi)非常有用，以至于人們對長期發(fā)展視而不見，」一直以來對當前深度學(xué)習(xí)方法持批評態(tài)度的馬庫斯說。

今年 5 月，他在加利福尼亞州帕洛阿爾托聯(lián)合創(chuàng)立了一家名為 Robust AI 的初創(chuàng)公司，該公司旨在將深度學(xué)習(xí)與基于規(guī)則的 AI 技術(shù)相結(jié)合，以開發(fā)可以與人一起安全操作的機器人。公司正在做工作仍處于保密狀態(tài)。

即使可以將規(guī)則嵌入到 DNN 中，這些規(guī)則的效果也只是能與學(xué)習(xí)一樣好。Bengio 說，AI 智能體需要在更豐富的可探索環(huán)境中學(xué)習(xí)。例如，大多數(shù)計算機視覺系統(tǒng)無法識別一罐啤酒是圓柱形的，因為它們只在 2D 圖像數(shù)據(jù)集上進行訓(xùn)練。這就是 Nguyen 等研究者發(fā)現(xiàn)我們可以通過不同角度的對象來愚弄 DNN 的原因。

但是，AI 的學(xué)習(xí)方式也需要改變。Bengio 說：「了解因果關(guān)系必須在現(xiàn)實世界做一些任務(wù)，智能體可以實驗并探索現(xiàn)實世界。」另一位深度學(xué)習(xí)的先驅(qū)，Jürgen Schmidhuber 說，模式識別非常強大，足以使阿里巴巴、騰訊、亞馬遜、Facebook 和 Google 等企業(yè)成為世界上最有價值的公司。他說：「但是將會有更大的浪潮，其涉及智能體操縱真實世界并通過自己的行動創(chuàng)建自己的數(shù)據(jù)。」

從某種意義上來講，使用強化學(xué)習(xí)在人工環(huán)境中搞定計算機游戲的方式已經(jīng)是這樣了：通過反復(fù)試錯，智能體以規(guī)則允許的方式操縱屏幕上的像素點，直到達成目標為止。然而，真實世界要比當今大多數(shù) DNN 訓(xùn)練所依據(jù)的模擬環(huán)境或數(shù)據(jù)集要復(fù)雜得多。

即興表演的機器人

如下圖所示，在加州大學(xué)伯克利分校 (University of California, Berkeley) 的一個實驗室里，一只機器人手臂在雜物中翻找。它拿起一個紅色的碗，然后用它把一只藍色的烤箱手套向右推幾厘米。它放下碗，拿起一個空的塑料噴射器，然后估量著平裝書的重量和形狀。經(jīng)過連續(xù)幾天的篩選，機器人開始對這些陌生的物體有了感覺，知道它們各自用來做些什么。

機器人手臂正在使用深度學(xué)習(xí)來教自己使用工具。給定一盤物體，它依次撿起并觀察每一個物體，觀察當它移動它們并將一個物體撞向另一個物體時會發(fā)生什么。

當研究人員給予機器人一個目標，例如向它展示一張幾乎空的托盤圖像，并指定機器人安排物體來匹配狀態(tài)。這樣，機器人可以與其之前未見過的物體交互并即興做出行動，例如用海綿將桌子上的物體抹干凈。機器人還能意識到，用塑料水壺清理掉擋道的物體要比直接拿起它們要快。

伯克利實驗室的研究員 Chelsea Finn 認為，一般而言，這種學(xué)習(xí)可以使得 AI 更深入地了解物體和世界。如果你曾經(jīng)只在照片上見過水壺或海綿，則或許能夠在其他圖像中識別出它們。但是，你不會真正地理解它們是什么或它們用來做什么。因此，F(xiàn)inn 表示，只有你真正地與它們接觸才可以更深入地了解它們。

但是，這種學(xué)習(xí)過程很慢。在模擬環(huán)境中，AI 可以非常快速地瀏覽示例。例如，2017 年，DeepMind 的 AlphaZero 自學(xué)習(xí)游戲軟件接受訓(xùn)練在圍棋、國際象棋和日本象棋領(lǐng)域大殺四方。那時，AlphaZero 針對每場賽事進行了 2000 多萬場訓(xùn)練游戲。

AI 機器人學(xué)習(xí)這種能力很慢。AI 和機器人公司 Ambidextrous 聯(lián)合創(chuàng)始人 Jeff Mahler 表示，在深度學(xué)習(xí)領(lǐng)域，幾乎所有的結(jié)果都極度依賴大量數(shù)據(jù)。他說道：「在單個機器人上收集數(shù)以千萬計的數(shù)據(jù)點將需要連續(xù)數(shù)年的執(zhí)行時間。」此外，數(shù)據(jù)或許不可靠，因為傳感器校準會隨時間出現(xiàn)變化，硬件也會退化。

因此，大多數(shù)涉及深度學(xué)習(xí)的機器人工作仍然使用模擬環(huán)境來加速訓(xùn)練。亞特蘭大佐治亞理工學(xué)院機器人專業(yè)的博士生 David Kent 認為，你能學(xué)到什么取決于模擬器有多好。模擬器一直在改進，研究人員也正在把從虛擬世界學(xué)到的經(jīng)驗更好地轉(zhuǎn)移到現(xiàn)實世界。然而，這樣的模擬仍然無法應(yīng)對現(xiàn)實世界的復(fù)雜性。

Finn 認為，使用機器人學(xué)習(xí)最終要比使用人工數(shù)據(jù)學(xué)習(xí)更容易擴展。她制作的會使用工具的機器人花了幾天時間學(xué)會了一項相對簡單的任務(wù)，但不需要大量的監(jiān)控。她說:「你只要運行這個機器人，每隔一段時間就需要檢查一下。」她想象著有一天，世界上有很多機器人可以使用自己的設(shè)備，晝夜不停地學(xué)習(xí)。這應(yīng)該是可能的——畢竟，這是人們理解世界的方式。「小孩不能通過從 Facebook 下載數(shù)據(jù)來學(xué)習(xí)，」Schmidhuber 說。

從較少的數(shù)據(jù)中學(xué)習(xí)

需要指出的一點是，一個小孩也可以通過一些數(shù)據(jù)點識別出新的物體：即使他們之前從來沒有見過長頸鹿，但依然可以在看過它們一兩次后識別出來。識別如此之快的部分原因是，這個小孩已經(jīng)看過很多除長頸鹿之外的其他生物，所以熟悉了這些生物的顯著特征。

將這些能力賦予 AI 的一個統(tǒng)稱術(shù)語是遷移學(xué)習(xí)：即將之前通過訓(xùn)練獲得的知識遷移到其他任務(wù)上。實現(xiàn)遷移的一種方法是在新任務(wù)訓(xùn)練時將所有或部分預(yù)訓(xùn)練任務(wù)再次用作起點（starting point）。例如，再次使用已經(jīng)被訓(xùn)練用來識別一種動物（如識別基本體型的層）的部分 DNN 可以在學(xué)習(xí)識別長頸鹿時為新網(wǎng)絡(luò)帶來優(yōu)勢。

一種極端形式的遷移學(xué)習(xí)旨在通過向新網(wǎng)絡(luò)展示少量示例（有時甚至只有一個示例）來訓(xùn)練它。此類已知的 one-shot 或 few-shot 學(xué)習(xí)極度依賴預(yù)訓(xùn)練的 DNN。舉例而言，如果你想要構(gòu)建一個能夠識別出犯罪數(shù)據(jù)庫中人的人臉識別系統(tǒng)，則利用包含數(shù)以百萬計人臉（并不一定是數(shù)據(jù)庫中的那些人）的 DNN 可以幫助該識別系統(tǒng)了解主要特征，如鼻子和下巴的形狀。

所以，擁有此類預(yù)訓(xùn)練記憶可以幫助 AI 在未見過大量模式的情況下識別出新示例，這樣可以加速機器人的學(xué)習(xí)速度。但是，如果面臨一些它們經(jīng)驗范圍外的任務(wù)，此類 DNN 或許依然表現(xiàn)不佳。這些網(wǎng)絡(luò)能夠?qū)崿F(xiàn)多大程度的泛化也依然不清楚。

例如，DeepMind 的 AlphaZero 等最成功的 AI 系統(tǒng)所擁有的專業(yè)知識也極其有限。AlphaZero 雖然可以接受訓(xùn)練來下圍棋和國際象棋，但無法同時進行。

學(xué)會如何學(xué)習(xí)

AlphaZero 在游戲領(lǐng)域的成功不僅僅歸功于有效的強化學(xué)習(xí)，還要得益于一種算法（用到了蒙特卡洛樹搜索技術(shù)的一種變體），這種算法可以幫助 AlphaZero 縮小下一步的選擇范圍。換言之，AI 學(xué)習(xí)如何以最好的方式從環(huán)境中學(xué)習(xí)。Chollet 認為，AI 的下一步重大進展將是賦予 DNN 編寫各自算法的能力，而不僅僅是使用人類提供的代碼。

Chollet 還說道，為基礎(chǔ)的模式匹配補充推理能力將使得 AI 能夠在它們的舒適區(qū)（comfort zone）外更好地處理輸入。計算機科學(xué)家們多年來一直都在研究程序合成（program synthesis），讓一臺計算機自動生成代碼。所以，在他看來，將這一領(lǐng)域與深度學(xué)習(xí)相結(jié)合可以生成更接近人類所使用的抽象心智模型的 DNN 系統(tǒng)。

例如，在機器人領(lǐng)域，F(xiàn)acebook AI 研究所（FAIR）的計算機科學(xué)家 Kristen Grauman 正在教機器人自身如何最有效地探索新環(huán)境。

該領(lǐng)域的研究人員表示他們在修復(fù)深度學(xué)習(xí)缺陷方面取得了一些進展，但他們也在探索一些新技術(shù)來使得 DNN 不那么脆弱。Song 認為，深度學(xué)習(xí)背后沒有太多的理論可遵循。如果出了故障，則很難找出原因。整個領(lǐng)域依然以實證為主，所以研究人員必須親自嘗試著解決。

目前，盡管科學(xué)家們意識到了 DNN 的脆弱性以及他們對數(shù)據(jù)的過度依賴，但大多數(shù)人認為 DNN 技術(shù)將繼續(xù)存在和發(fā)展。需要承認的一點是，近十年來，與大量計算資源相結(jié)合的神經(jīng)網(wǎng)絡(luò)可以在接受訓(xùn)練的情況下很好地識別模式。但遺憾的是，Clune 認為，沒有人真正知道如何改進 DNN 技術(shù)。