符號處理是邏輯學(xué)、數(shù)學(xué)和計算機科學(xué)中常見的過程，它將思維視為代數(shù)操作。近 70 年來，人工智能領(lǐng)域最根本的爭論就是人工智能系統(tǒng)應(yīng)該建立在符號處理的基礎(chǔ)上還是類似于人腦的神經(jīng)系統(tǒng)之上。

實際上還有作為中間立場的第三種可能——混合模型。通過將神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)驅(qū)動學(xué)習(xí)與符號處理的強大抽象能力相結(jié)合，混合模型試圖獲得兩全其美的能力。這也是我個人職業(yè)生涯大部分時間的工作方向。

在最近發(fā)表于 NOEMA 雜志的一篇文章中，圖靈獎得主、Meta 首席人工智能科學(xué)家 Yann LeCun 和 LeCun 實驗室的「常駐哲學(xué)家」Jacob Browning 也卷入了這場爭論。這篇文章似乎提供了新的替代方案，但仔細檢查后就會發(fā)現(xiàn)文章觀點既不新鮮也不令人信服。

Yann LeCun 和 Jacob Browning 在發(fā)表于 NOEMA 雜志的文章中首次正式回應(yīng)「?深度學(xué)習(xí)撞墻了」這個觀點，表示「從一開始，批評者就過早地認為神經(jīng)網(wǎng)絡(luò)已經(jīng)遇到了不可翻越的墻，但每次都被證明只是一個暫時的障礙。」

在文章的開頭，他們似乎反對混合模型，混合模型通常被定義為是結(jié)合了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)和符號處理的系統(tǒng)。但到最后，LeCun 一反常態(tài)，用很多話承認混合系統(tǒng)的存在——它們很重要，它們是一種可能的前進方式，而且我們一直知道這一點。文章本身就是矛盾的。

至于為什么會出現(xiàn)這種矛盾，我唯一能想到的原因是 LeCun 和 Browning 以某種方式相信：學(xué)習(xí)了符號處理的模型并不是混合模型。但學(xué)習(xí)是一個發(fā)展中的問題（系統(tǒng)是如何產(chǎn)生的？），而已經(jīng)發(fā)展好的系統(tǒng)如何運作（是用一種機制還是兩種）是一個計算問題：無論以哪種合理的標準來衡量，同時利用了符號和神經(jīng)網(wǎng)絡(luò)兩種機制的系統(tǒng)都是一個混合系統(tǒng)。（也許他們真正想說的是，AI 更像是一種習(xí)得的混合系統(tǒng)（learned hybrid），而不是先天的混合系統(tǒng)（innate hybrid）。但習(xí)得的混合系統(tǒng)仍然是混合系統(tǒng)。）

在 2010 年左右，符號處理被深度學(xué)習(xí)的支持者看作是一個糟糕的詞；而到了 2020 年，了解符號處理的來源成了我們的首要任務(wù)。

我認為符號處理要么是與生俱來的，要么是其他東西間接地促成了符號處理的獲得。我們越早弄清楚是什么基礎(chǔ)允許系統(tǒng)學(xué)習(xí)符號抽象，我們就能夠越早地構(gòu)建適當利用世界上所有知識的系統(tǒng)，系統(tǒng)也將更安全、更可信和可解釋。

然而，首先我們需要了解人工智能發(fā)展史上這場重要辯論的來龍去脈。

早期的人工智能先驅(qū) Marvin Minsky 和 John McCarthy 認為符號處理是唯一合理的前進方式，而神經(jīng)網(wǎng)絡(luò)先驅(qū) Frank Rosenblatt 認為人工智能將更好地建立在類似神經(jīng)元的「節(jié)點」集合并可處理數(shù)據(jù)的結(jié)構(gòu)上，以完成統(tǒng)計數(shù)據(jù)的繁重工作。

這兩種可能并不相互排斥。人工智能所使用的「神經(jīng)網(wǎng)絡(luò)」并不是字面上的生物神經(jīng)元網(wǎng)絡(luò)。相反，它是一個簡化的數(shù)字模型，與實際生物大腦有幾分相似，但復(fù)雜度很小。原則上，這些抽象神經(jīng)元可以以許多不同的方式連接起來，其中一些可以直接實現(xiàn)邏輯和符號處理。早在 1943 年，該領(lǐng)域最早的論文之一《A Logical Calculus of the Ideas Inmanent in Nervous Activity》就明確承認了這種可能性。

20 世紀 50 年代的 Frank Rosenblatt 以及 1980 年代的 David Rumelhart 和 Jay McClelland，提出了神經(jīng)網(wǎng)絡(luò)作為符號處理的替代方案；Geoffrey Hinton 也普遍支持這一立場。

這里不為人知的歷史是，早在 2010 年代初期，LeCun、Hinton 和 Yoshua Bengio 對這些終于可以實際應(yīng)用的多層神經(jīng)網(wǎng)絡(luò)非常熱情，他們希望完全消滅符號處理。到 2015 年，深度學(xué)習(xí)仍處于無憂無慮、熱情洋溢的時代，LeCun、Bengio 和 Hinton 在 Nature 上撰寫了一份關(guān)于深度學(xué)習(xí)的宣言。這篇文章以對符號的攻擊結(jié)束，認為「需要新的范式來通過對大型向量的操作取代基于規(guī)則的符號表達式操作」。

事實上，那時的 Hinton 非常確信符號處理是一條死胡同，以至于同年他在斯坦福大學(xué)做了一個名為「Aetherial Symbols」的演講——將符號比作科學(xué)史上最大的錯誤之一。 

類似地，20 世紀 80 年代，Hinton 的合作者 Rumelhart 和 McClelland 也提出了類似的觀點，他們在 1986 年的一本著作中辯稱：符號不是「人類計算的本質(zhì)」。

當我在 2018 年寫了一篇文章為符號處理辯護時，LeCun 在 Twitter 上稱我的混合系統(tǒng)觀點「大部分是錯誤的」。彼時，Hinton 也將我的工作比作在「汽油發(fā)動機」上浪費時間，而「電動發(fā)動機」才是最好的前進方式。甚至在 2020 年 11 月，Hinton 還聲稱「深度學(xué)習(xí)將無所不能」。

因此，當 LeCun 和 Browning 現(xiàn)在毫不諷刺地寫道：「在深度學(xué)習(xí)領(lǐng)域工作的每個人都同意符號處理是創(chuàng)建類人 AI 的必要特征」，他們是在顛覆幾十年的辯論史。正如斯坦福大學(xué)人工智能教授 Christopher Manning 所說：「LeCun 的立場發(fā)生了一些變化。」

顯然，十年前的方法現(xiàn)在已經(jīng)不適用了。

2010 年代，機器學(xué)習(xí)社區(qū)中許多人斷言（沒有真正的論據(jù)）：「符號在生物學(xué)上不可信」。而十年后，LeCun 卻正在考慮一種包含符號處理的新方案，無論符號處理是與生俱來的還是后天習(xí)得的。LeCun 和 Browning 的新觀點認為符號處理是至關(guān)重要的，這代表了深度學(xué)習(xí)領(lǐng)域的巨大讓步。

人工智能歷史學(xué)家應(yīng)該將 NOEMA 雜志的文章視為一個重大轉(zhuǎn)折點，其中深度學(xué)習(xí)三巨頭之一的 LeCun 首先直接承認了混合 AI 的必然性。

值得注意的是，今年早些時候，深度學(xué)習(xí)三巨頭的另外兩位也表示支持混合 AI 系統(tǒng)。計算機科學(xué)家吳恩達和 LSTM 的創(chuàng)建者之一 Sepp Hochreiter 也紛紛表示支持此類系統(tǒng)。而 Jürgen Schmidhuber 的 AI 公司 NNAISANCE 近期正圍繞著符號處理和深度學(xué)習(xí)的組合進行研究。

LeCun 和 Browning 的文章的其余內(nèi)容大致可以分為三個部分：

• 對我的立場的錯誤描述；
• 努力縮小混合模型的范圍；
• 討論為什么符號處理是后天習(xí)得的而非與生俱來的。

例如，LeCun 和 Browning 說：「Marcus 認為，如果你一開始沒有符號處理，那你后面也不會有（if you don’t have symbolic manipulation at the start, you’ll never have it）。」而事實上我在 2001 年的《代數(shù)思維（The Algebraic Mind）》一書中明確表示：我們不確定符號處理是否是與生俱來的。

他們還稱我預(yù)計深度學(xué)習(xí)「無法取得進一步進展」，而我的實際觀點并不是在任何問題上都不會再有任何進展，而是深度學(xué)習(xí)對于某些工作（例如組合性問題、因果推理問題）來說本身就是錯誤的工具。

他們還說我認為「符號推理對于一個模型來說是 all-or-nothing 的，因為 DALL-E 沒有用符號和邏輯規(guī)則作為其處理的基礎(chǔ)，它實際上不是用符號進行推理，」而我并沒有說過這樣的話。DALL·E 不使用符號進行推理，但這并不意味著任何包含符號推理的系統(tǒng)必須是 all-or-nothing 的。至少早在 20 世紀 70 年代的專家系統(tǒng) MYCIN 中，就有純粹的符號系統(tǒng)可以進行各種定量推理。

除了假設(shè)「包含習(xí)得符號的模型不是混合模型」，他們還試圖將混合模型等同于「包含不可微分符號處理器的模型」。他們認為我將混合模型等同于「兩種東西簡單的結(jié)合：在一個模式完善（pattern-completion）的深度學(xué)習(xí)模塊上插入一個硬編碼的符號處理模塊。」而事實上，每個真正從事神經(jīng)符號 AI 工作的人都意識到這項工作并不是這么簡單。

相反，正如我們都意識到的那樣，問題的關(guān)鍵就是構(gòu)建混合系統(tǒng)的正確方法。人們考慮了許多不同方法來組合符號和神經(jīng)網(wǎng)絡(luò)，重點關(guān)注從神經(jīng)網(wǎng)絡(luò)中提取符號規(guī)則、將符號規(guī)則直接轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)、構(gòu)建允許在神經(jīng)網(wǎng)絡(luò)和符號系統(tǒng)之間傳遞信息的中間系統(tǒng)等技術(shù)，并重構(gòu)神經(jīng)網(wǎng)絡(luò)本身。許多途徑都正在探索中。

最后，我們來看一下最關(guān)鍵的問題：符號處理是否可以通過學(xué)習(xí)學(xué)得而不需要從一開始就內(nèi)置？

我直截了當?shù)鼗卮穑寒斎豢梢浴?jù)我所知，沒有人否認符號處理是可以習(xí)得的。2001 年，我在《代數(shù)思維》的第 6.1 節(jié)中回答過這個問題，雖然我認為這不太可能，但我沒有說這是絕對不可能的。相反，我的結(jié)論是：「這些實驗和理論肯定不能保證符號處理的能力是與生俱來的，但它們確實符合這一觀點。」

總的來說，我的觀點包括以下兩部分：

第一是「可學(xué)習(xí)性」觀點：在《代數(shù)思維》整本書中，我展示了某些類型的系統(tǒng)（基本是當今更深層系統(tǒng)的前身）未能學(xué)得符號處理的各個方面，因此不能保證任何系統(tǒng)都能夠?qū)W習(xí)符號處理。正如我書中原話：

有些東西必須是與生俱來的。但「先天」和「后天」這兩者并沒有真正的沖突。大自然提供了一套允許我們與環(huán)境互動的機制、一套從世界中提取知識的工具，以及一套利用這些知識的工具。如果沒有一些與生俱來的學(xué)習(xí)工具，我們也根本就不會學(xué)習(xí)。

發(fā)展心理學(xué)家 Elizabeth Spelke 曾說：「我認為一個具有一些內(nèi)置起點（例如對象、集合、用于符號處理的裝置等）的系統(tǒng)將比純粹的白板更有效地了解世界。」事實上，LeCun 自己最著名的卷積神經(jīng)網(wǎng)絡(luò)工作也能說明這一點。

第二點是人類嬰兒表現(xiàn)出一些擁有符號處理能力的證據(jù)。在我實驗室的一組經(jīng)常被引用的規(guī)則學(xué)習(xí)實驗中，嬰兒將抽象模式的范圍泛化了，超越了他們訓(xùn)練中的具體例子。人類嬰兒隱含邏輯推理能力的后續(xù)工作會進一步證實這一點。

不幸的是，LeCun 和 Browning 完全回避了我這兩個觀點。奇怪的是，他們反而將學(xué)習(xí)符號等同于較晚習(xí)得的東西，例如「地圖、圖像表示、儀式甚至社會角色），顯然沒有意識到我和其他幾位認知科學(xué)家從認知科學(xué)的大量文獻中汲取的關(guān)于嬰兒、幼兒和非人類動物的思考。如果一只小羊在出生后不久就可以爬下山坡，那么為什么一個新生的神經(jīng)網(wǎng)絡(luò)不能加入一點符號處理呢？

最后，令人費解的是，為什么 LeCun 和 Browning 會費盡心力地反對符號處理的先天性呢？他們沒有給出反對先天性的強有力的原則性論據(jù)，也沒有給出任何原則性的理由來證明符號處理是后天習(xí)得的。

值得注意的是，LeCun 的最新研究包容了一些「先天的」符號處理。他最近推出的新架構(gòu)總體包含六個模塊，其中大部分是可調(diào)的，但所有模塊都是內(nèi)置的。

此外，LeCun 和 Browning 也沒有具體說明如何解決語言理解和推理中眾所周知的特定問題，因為語言模型沒有先天的符號處理機制。

相反，他們只是用歸納的原理說明深度學(xué)習(xí)的作用：「由于深度學(xué)習(xí)已經(jīng)克服了 1 到 N 的問題，我們應(yīng)該相信它可以克服 N+1 的問題」。

這種觀點的說服力很弱，人們真正應(yīng)該思考和質(zhì)疑的是深度學(xué)習(xí)的極限。

其次，還有一些強有力的具體理由可以說明深度學(xué)習(xí)已經(jīng)面臨原則上的挑戰(zhàn)，即組合性、系統(tǒng)性和語言理解問題。這些問題依賴于「泛化」和「分布偏移（distribution shift）」。領(lǐng)域內(nèi)的每個人現(xiàn)在都認識到分布偏移是當前神經(jīng)網(wǎng)絡(luò)的致命弱點。這也是《代數(shù)思維》一書中對當今深度學(xué)習(xí)系統(tǒng)的先驅(qū)性觀點。

實際上，深度學(xué)習(xí)只是構(gòu)建智能機器的一部分。這類技術(shù)缺乏表征因果關(guān)系（例如疾病與其癥狀之間關(guān)系）的方法，并且可能在獲取抽象概念方面存在挑戰(zhàn)。深度學(xué)習(xí)沒有明顯的邏輯推理方式，距離整合抽象知識還有很長的路要走。

當然，深度學(xué)習(xí)已經(jīng)取得了諸多進展，它擅長模式識別，但在推理等一些基本問題上進展還遠遠不夠，系統(tǒng)仍然非常不可靠。 

以谷歌開發(fā)的新模型 Minerva 為例，它在訓(xùn)練時有數(shù)十億個 token，但仍然難以完成 4 位數(shù)字相乘的問題。它在高中數(shù)學(xué)考試中獲得 50% 的正確率，卻被吹噓為「重大進步」。因此，深度學(xué)習(xí)領(lǐng)域仍很難搭建起一個掌握推理和抽象的系統(tǒng)。現(xiàn)在的結(jié)論是：不僅是深度學(xué)習(xí)有問題，而是深度學(xué)習(xí)「一直都有問題」。

在我看來，符號處理的情況可能與以往一樣：

在「代數(shù)思維」 20 年的影響下，當前的系統(tǒng)仍然無法可靠地提取符號處理（例如乘法），即使面對龐大的數(shù)據(jù)集和訓(xùn)練也是如此。人類嬰幼兒的例子表明，在正規(guī)教育之前，人類是能夠歸納復(fù)雜的自然語言和推理概念的（假定是符號性質(zhì)的）。

一點內(nèi)置的符號主義可以大大提高學(xué)習(xí)效率。LeCun 自己在卷積方面的成功（對神經(jīng)網(wǎng)絡(luò)連接方式的內(nèi)置約束）很好地說明了這種情況。AlphaFold 2 的成功一部分源于精心構(gòu)建的分子生物學(xué)的先天表征，模型的作用是另一部分。DeepMind 的一篇新論文表示，他們在構(gòu)建關(guān)于目標的先天知識系統(tǒng)推理方面取得了一些進展。

而 LeCun 和 Browning 所說的都沒有改變這一切。

退一步看，世界大致可以分為三個部分：

• 在工廠完全安裝了符號處理設(shè)備的系統(tǒng)（例如幾乎所有已知的編程語言）。
• 具有先天學(xué)習(xí)裝置的系統(tǒng)缺乏符號處理，但在適當?shù)臄?shù)據(jù)和訓(xùn)練環(huán)境下，足以獲得符號處理。
• 即使有足夠的訓(xùn)練，也無法獲得完整的符號處理機制的系統(tǒng)。

當前深度學(xué)習(xí)系統(tǒng)屬于第三類：一開始沒有符號處理機制，并且在此過程中沒有可靠的符號處理機制。

當 LeCun 和 Browning 意識到擴展的作用，即添加更多層、更多數(shù)據(jù)，但這是不夠的，他們似乎同意我最近反對擴展的論點。我們?nèi)齻€人都承認需要一些新的想法。

此外，在宏觀層面上，LeCun 最近的主張在很多方面都非常接近我在 2020 年的主張，即我們都強調(diào)感知、推理和擁有更豐富世界模型的重要性。我們都認為符號處理扮演著重要角色（盡管可能不同）。我們都認為目前流行的強化學(xué)習(xí)技術(shù)不能滿足全部需求，單純的擴展也是如此。

符號處理最大的不同在于需要固有結(jié)構(gòu)的數(shù)量，以及利用現(xiàn)有知識的能力。符號處理希望盡可能多地利用現(xiàn)有知識，而深度學(xué)習(xí)則希望系統(tǒng)盡可能多地從零開始。

早在 2010 年代，符號處理在深度學(xué)習(xí)支持者中還是一個不受歡迎的詞，21 世紀 20 年代，我們應(yīng)該將了解這一方法來源作為首要任務(wù)，即使是神經(jīng)網(wǎng)絡(luò)最狂熱的支持者已經(jīng)認識到符號處理對實現(xiàn) AI 的重要性。一直以來神經(jīng)符號社區(qū)一直關(guān)注的問題是：如何讓數(shù)據(jù)驅(qū)動的學(xué)習(xí)和符號表示在一個單一的、更強大的智能中協(xié)調(diào)一致地工作？令人興奮的是，LeCun 最終承諾為實現(xiàn)這一目標而努力。

原文鏈接：https://www.noemamag.com/deep-learning-alone-isnt-getting-us-to-human-like-ai/?