眾所周知，自然語言處理(NLP)與計算機視覺(CV)是人工智能的兩大熱門領域。近年來，隨著深度學習等技術的發展，計算機視覺領域發展很快，越來越多的應用開始落地。與之相比，NLP 領域目前的進展如何?昨天，有人在 Reddit 上發出了疑問：是否我們和 NLP 的突破之間還有很長一段距離?這個問題引發了人們的熱烈討論。

[[210404]]

問題

我現在對于自然語言處理(NLP)領域的進展稍感失望

在 2014 年-2015 年期間，NLP 上有許多有趣的發展方向：外部存儲器(external memory)、推理、無監督/半監督學習、聊天機器人、問答系統、為圖像生成文字描述……然而在今天，其中的很多似乎沒有多少進展，而人們研究的熱點紛紛轉向了 GAN 和強化學習。

你覺得是這樣嗎?談論 NLP 領域的突破是否為時尚早?

回答與討論

Jean-Porte：當前最優結果正穩步增長。一些結果令人印象深刻，比如在 SNLI 上表現超越人類的最佳方法，盡管我不認為這是人類的真實水平。無監督學習在 NLP 中獲得成功(有兩篇介紹無監督機器學習的 ICLR 論文)，雖然機器學習會議(ICLR)中的 NLP 論文相當少。很多高效方法也已在開發之中(比如 fasttext)。我認為 2014-2015 期間有很多新的有趣且艱難的問題已解決，并取得了相當好的結果。這一領域在這些問題方面越發成熟，相比以往突破性不大，但肯定有進步。

• https://arxiv.org/pdf/1711.00043.pdf
• https://arxiv.org/pdf/1710.11041.pdf

hapliniste：我認為真正好的 NLP 要遠比我們想的更艱難，也許等到我們實現了通用人工智能(AGI)才會到來(正如語言來自現實世界，不了解這個世界肯定行不通)。

adammathias：你是對的，NLP 非常難。不僅僅是任務難(當然這樣也要看我們選擇的任務)，分析和表征結果更難。很多圖像任務中間層的輸出的可視化可以獲得任何研究委員會、工程經理甚至是紐約時報讀者的肯定，就像認可一些計算機藝術一樣。

但是作為兩個句子的平均的一個句子呢?或者生成自向量空間的一個點?并且這假設訓練數據是英文。結果就是一切難上加難。進入門檻越高，即刻的獎勵越低。因此很多研究者改變了研究領域，漸漸變的妥協。

作為一個具體實例，向世界頂級研究與工程組織的非常有才華、善意且做事高效的同僚解釋為什么Блацк Форест或者тхроугх是不可接受的輸出并且是徹底的失敗，是一場艱苦異常的戰斗。因此，五年之后，這依然存在。并且這是一個很簡單的問題，更像是一個數據通道 bug，實際上非常好解決。

hapliniste：沒錯，我也認為語言處理是一個大難題。假如可以制造一個「hyppocampus」控制網絡中的信息路由選擇，就能擁有一個開發強大 NLP 的堅實基礎，但目前看來還遠遠無法實現。

我目前對于如何實現「AGI」和 NLP 的觀點如下：

• 需要一種系統，其擁有兩種基本結構：函數和表示(類型)。函數就是模型，表示是函數作用的對象(且只能使用一種表示)，然后盡可能分解函數，并在其它函數中復用;
• 需要一種系統，以找到函數的能給出基于輸入的正確的輸出的路由。它需要在初始表示(比如一張圖像)之間找到最好或最短的路由并發送到所要求的表示上(比如文本描述)。所用的表示或類型必須強制網絡只使用合理的路徑;
• 可以使用由「hyppocampus」生成的路徑，并將其轉換為文本描述。這樣就能實現一種強大的 NLP 了。

不過也請別太較真，這些都還是未被證明過的觀點。

請注意我談到了「AGI」，但似乎很多人都把 AGI 當做一種進化過程的結果，并且是有生命的。但用我的方法不太可能會實現這種 AGI。它可能更像一個 app 商城，其中人類設計的模型以一種監督方式解決任務(這就是為什么我會稱它為「AGI」，而不是 AGI)。

adammathias：至于 2017 年第 4 季度，我們甚至沒有嘗試。任何真實任務，比如 Nice truck attack、Pope’s Baby Steps on Gays、Loving PR 或者省略語言中的一半語句 (今天的實例)，沒有額外語境的幫助無法完成。但是絕大多數基準不包含語境。即使我們有一些超級神經網絡，并在訓練和測試中輸入這般的字符串，我們也無法期望該網絡會工作。某種意義上在給定輸入的情況下，今天的機器學習的性能已幾近最優。

為了兌現承諾，Google Now 及其他類似應用確實使用了語境，并且 Manning 的斯坦福實驗室已經關注首語重復法研究。制作語境數據集也面臨挑戰，它們必須足夠大，但是遷移可能不太好。一旦有了這樣的數據集，會涌現出更多有關自然語言的 AGI 研究。

automated_reckoning：這些是絕佳的實例!如此容易地在你心中轉變意思非常有趣，這很好地證明了語境的重要性，以及自然語言是多么微妙。

adammathias：實例 The Pope’s Baby Steps 來自 Chris Manning：The Future of AI – June 23, 2016 – https://vimeo.com/173057086。

adammathias：

• 神經圖片標注

其實那個東西不是 NLP。

• 機器翻譯

我們現在只看到谷歌、IBM 微軟等公司展示的對話到對話 demo，而其中最引人關注的點是語音識別技術，這意味著它并不全是 NLP。現在灣區的公司有多少真正需要機器翻譯的?NMT 真正的用戶群是那些不會說英語，但卻在工作和生活上需要用到英語的人群。

mljoe：我認為除了計算機視覺中存在的典型堆棧和池化方法以外，我們還需要其他一些東西。上述方法可以抓取物理世界結構的本質(引自 Henry W. Lin 等人的論文《Why does deep and cheap learning work so well?》)。但我認為在自然語言中它們不起作用。我認為 Geoffrey Hinton 的 Capsule 理念或許可以為 NLP 帶來新的希望。

Syphon8：讓我進一步來說說自然語言處理的本質吧，它和你如何看待一個人有關，這其實和通用人工智能是同一個問題。

或許這只是 Sapir–Whorf 假說的一次復現，但我認為它的可能性很大(Sapir–Whorf 假說：一個關于人類語言的假說，由語言學家兼人類學家 Edward Sapir 及其學生 Benjamin Whorf 所提出，是一個心理學及語言學假說。它認為，人類的思考模式受到其使用語言的影響，因而面對同一事物時可能會有不同的看法)。

任何可以像人類一樣處理自然語言的機器都可以擁有相應的觀點，同時可以完成其語言中所描述的任務。

同樣，任何真正的人工智能都需要有某種程度的處理語言的能力，這樣才能與其他智能體進行交互。

torvoraptor：看看最近的論文吧，已經出現無監督神經機器翻譯了，我根本不認為 NLP 領域停滯了(《Word Translation Without Parallel Data》：https://arxiv.org/abs/1710.04087)

-論文《Unsupervised Neural Machine Translation》(參見：無監督神經機器翻譯：僅需使用單語語料庫)：https://arxiv.org/abs/1710.11041-

eMPiko：我不覺得這令人失望，更愿意當作一種警醒。總會有一些人一旦有什么有趣的新發現，就大肆宣揚在什么 20 年內獲得通用人工智能。深度 NLP 已經取得很大進步，它使用的是相當通用的和可復用的架構，可以在每一種虛擬的 NLP 任務中達到當前最佳結果。我們在短短幾年內就(在某些案例中)超越了過去幾十年的研究成果。例如，所有在 2015 年之前使用統計機器翻譯的研究進展現在實際上都變得無關緊要了，因為我們已經開始使用數據驅動的編碼器—解碼器(encoder-decoder)。

Phylliida：我很喜歡那篇論文。可惜的是據我所知，和常規的機器翻譯不一樣，它不能轉移到聊天機器人上。

evc123：NLP 將繼續保持頹勢，直到情境語言學習(Situated Language Learning)得到應用：https://arxiv.org/abs/1610.03585。

disappointedwithnlp：我并不認為這是當前困境的解決辦法。

由于不可能學到比智能體知道的更多的東西，任何從其它智能體學習的智能體都有所局限。任何學習人類的智能體在學習其它東西的時候都必須非常高效地使用樣本(sample efficient)。因此，我們首先需要更好的無監督學習獲得高效使用樣本的能力。

你對 NLP 目前的發展有何看法?歡迎留言進行討論。