LeCun最新演講，公開表示：

今年諾貝爾獎頒給AI，是諾獎委員會感到壓力的結(jié)果，需要承認深度學習的影響。

但物理獎頒給Hinton和Hopefield，獲獎成果玻爾茲曼機和Hopefield網(wǎng)絡(luò)現(xiàn)在完全無用。

言語間不乏調(diào)侃“化學獎塞不下更多人，所以只能選了物理”，“Hopefield是生物物理學家，Hinton的模型以物理學家命名，勉強合理”。

臺下觀眾也蚌埠住了，爆發(fā)陣陣笑聲。

眾所周知，今年的諾貝爾物理學獎頒給了機器學習先驅(qū)Hopfield、Hinton，前者因其“提出了Hopfield神經(jīng)網(wǎng)絡(luò)，以相當于物理學中自旋系統(tǒng)能量的方式進行描述”，后者因其“提出的玻爾茲曼機，使用了統(tǒng)計物理學中的工具”。

有人把視頻發(fā)在了X上，網(wǎng)友看到LeCun此番發(fā)言一時間炸開了鍋。

有人覺得LeCun這是酸了。

也有人認為LeCun說的不無道理。

具體怎么回事？

最近，LeCun參加了題為“機器如何達到人類水平智能”的主題講座。

就在活動將要結(jié)束的時候，回答了大家提出的一些感興趣的問題。

一開始的問題是：這些人工智能模型，實體化的角色是什么，以實現(xiàn)真正的智能。

LeCun是這樣回答的：

我認為這非常關(guān)鍵。

過去五六年中，對世界模型及類似概念做出有趣貢獻的人是機器人科學家，他們嘗試將機器學習應用于機器人技術(shù)，因為你無法在機器人技術(shù)上作弊。你真的需要一個了解物理世界運作方式的系統(tǒng)。

所以幾年前，當我們在討論開設(shè)AI研究實驗室時，我詢問是否有我們不應該研究的AI領(lǐng)域，當時得到的回答是Facebook沒有理由從事機器人技術(shù)。

因此，兩年來我們并未涉及機器人技術(shù)。

但兩三年后，我意識到在機器人技術(shù)中有很多有趣的事情可以做，可以推動AI的發(fā)展。因此，我們成立了一個小規(guī)模的機器人技術(shù)團隊，后來逐漸發(fā)展，現(xiàn)在我們有一個大團隊。

機器人技術(shù)現(xiàn)在已成為行業(yè)的熱門話題。因此，研究實驗室的角色是提前五年預見此類趨勢，這樣當你的上司來找你，問我們在X方面做了什么時，你可以說，我們過去五年一直在研究X。

之后LeCun又回答了這樣的一個問題：

Surya Ganguli預測，這個世紀將是我們真正理解人工智能并構(gòu)建像上個世紀我們構(gòu)建通信理論那樣的人工智能理論的時代。你對此有何看法？

LeCun：

我沒有一個確切的答案，我認為有許多不同的方式可以從不同的角度理解深度學習，特別是自監(jiān)督學習等。比如我的一個博士后是一位信息理論家，也是一位統(tǒng)計物理學家。

實際上，統(tǒng)計物理學家在1980年代對神經(jīng)網(wǎng)絡(luò)很感興趣，但在90年代這種興趣有所減弱，現(xiàn)在由于深度學習及其數(shù)學基礎(chǔ)，如我多次討論的基于能量的模型框架，他們又重新回到了這一領(lǐng)域。

我的這個博士后試圖通過分析和建模自我監(jiān)督的運行，使用諸如信息內(nèi)容和互信息之類的量度進行理論研究。我們一起寫了很多論文，主要是他在這個話題上的工作。

也許下一個突破會來自統(tǒng)計物理學，我對傳統(tǒng)理論計算機科學并不抱有太大希望。

借此話茬，LeCun突然被問到“你怎么看最近的物理諾貝爾獎呢”。

于是就有了開頭的那一幕，LeCun的完整回答是這樣嬸兒的：

我對此的印象是，諾貝爾委員會受到了一些壓力，需要獎勵深度學習領(lǐng)域的貢獻。

這一點可以從瑞典電視臺的紀錄片和電視新聞節(jié)目中看出，有人認為諾貝爾獎應該頒給對AI領(lǐng)域有重大影響的人士，而非只是物理學領(lǐng)域的不為人知的貢獻者。

因此，委員會明顯傾向于表彰從事蛋白質(zhì)結(jié)構(gòu)預測的科學家，如AlphaFold團隊和David Baker的實驗室。

所以他們可能決定這么做，但隨后他們也決定應該同樣獎勵那些為基礎(chǔ)科學理念做出貢獻的人。

因化學獎項的人數(shù)限制，他們選擇了物理學獎項，并且選擇了物理生物學家John Hopfield。

即便Geoffery Hinton不是物理學家，但他的模型被稱為“Boltzmann機器”，而Boltzmann在科學物理中是傳奇，這整件事在這種情境下說得通。

但你必須意識到，盡管我對諾貝爾獎頒給從事神經(jīng)網(wǎng)絡(luò)研究的人感到非常興奮和振奮，認為這很棒，但Hopfield網(wǎng)絡(luò)和Boltzmann機已經(jīng)不再被使用，它們在概念上很有趣，但實際上完全無用，沒人使用它們了。

我們現(xiàn)在使用的是反向傳播。這是一個有趣的概念，但我對此無可厚非。

LSTM之父也有異議

和LeCun的觀點不太一樣，LSTM之父Jürgen Schmidhuber在X上連發(fā)推文，觀點和用詞更加犀利，直接表示這“涉及計算機科學領(lǐng)域的抄襲和錯誤歸屬問題”。

Jürgen Schmidhuber咋說的，給大家放在這兒了：

2024年諾貝爾物理學獎因科學中的剽竊行為及錯誤歸因而頒給Hopfield和Hinton。這主要涉及Amari的“Hopfield網(wǎng)絡(luò)”和“Boltzmann機”。

1、1925年發(fā)布的Lenz-Ising循環(huán)架構(gòu)采用類神經(jīng)元元素[L20][I24][I25]。1972年，申一Amari使其具備自適應性，能夠通過改變連接權(quán)重學習輸入模式與輸出模式的關(guān)聯(lián)[AMH1]。然而，在“2024年諾貝爾物理學獎科學背景”中，Amari僅被簡略提及。不幸的是，Amari的網(wǎng)絡(luò)后來被稱為“Hopfield網(wǎng)絡(luò)”。Hopfield在十年后重新發(fā)表此網(wǎng)絡(luò)[AMH2]，卻未引用Amari，后續(xù)論文亦然。

2、Ackley、Hinton和Sejnowski在1985年關(guān)于Boltzmann機的論文[BM]討論了神經(jīng)網(wǎng)絡(luò)隱藏單元中內(nèi)部表示的學習[S20]。它未引用Ivakhnenko和Lapa在1965年對內(nèi)部表示深度學習的首個工作算法[DEEP1-2][HIN]，也未引用Amari在1967-68年通過隨機梯度下降（SGD）端到端學習深度神經(jīng)網(wǎng)絡(luò)內(nèi)部表示的獨立工作[GD1-2]。作者的后續(xù)調(diào)查[S20][DL3][DLP]及“2024年諾貝爾物理學獎科學背景”均未提及這些深度學習的起源。([BM]也未引用Sherrington和Kirkpatrick[SK75]以及Glauber[G63]的相關(guān)先驅(qū)工作。)

3、諾貝爾委員會還稱贊了Hinton等人在2006年的深度神經(jīng)網(wǎng)絡(luò)分層預訓練方法[UN4]。然而，這項工作既未引用Ivakhnenko和Lapa在1965年的原始深度神經(jīng)網(wǎng)絡(luò)分層訓練[DEEP1-2]，也未引用1991年深度神經(jīng)網(wǎng)絡(luò)無監(jiān)督預訓練的原始工作[UN0-1][DLP]。

4、Popular information稱：“1960年代末，一些令人沮喪的理論結(jié)果使許多研究者懷疑這些神經(jīng)網(wǎng)絡(luò)永遠不會有任何實際用途。”然而，深度學習研究在1960-70年代顯然是活躍的，尤其是在英語世界之外。[DEEP1-2][GD1-3][CNN1][DL1-2][DLP][DLH]。

5、在以下參考文獻[DLP]中，可以找到更多剽竊和錯誤歸因的案例，該文獻也包含了上述其他參考。可以從第3節(jié)開始閱讀：
[DLP] J. Schmidhuber (2023). 三位圖靈獎得主如何重新發(fā)表他們未曾歸功于原創(chuàng)者的關(guān)鍵方法和想法。技術(shù)報告IDSIA-23-23，瑞士AI實驗室IDSIA，2023年12月14日。
參見以下參考文獻[DLH]了解該領(lǐng)域的歷史：
[DLH] J. Schmidhuber (2022). 現(xiàn)代AI與深度學習的注釋歷史。技術(shù)報告IDSIA-22-22，IDSIA，瑞士盧加諾，2022年。預印本 arXiv:2212.11279。

參考鏈接：
[1]https://x.com/tsarnick/status/1849291803444621390。
[2]https://x.com/SchmidhuberAI/status/1849095954428784986。