人們常說「隔行如隔山」，機器學習社區在外行人眼里是什么樣的？

近日，一位來自傳統行業的從業者觀察了機器學習研究社區的現狀，發現了一些問題并在 reddit 上發帖，不少機器學習從業者也紛紛表達觀點，參與討論。

帖子作者注意到，機器學習社區內有很多研究者正致力于優化、控制、信號處理等「舊領域」的交叉研究，他們會突然發表大量聲稱要解決某個問題的論文，問題本身通常是近期的，使用的方法會包含一些深度神經網絡。

然而仔細一看，這些研究唯一新穎的地方只有提出的問題，而不是研究人員解決該問題的方案。

讓他困惑的是，為什么大量這種看起來水平一般，幾乎就是對各領域內 20 世紀 80 年代，甚至 60 年代以后的技術重新編排的文章卻能夠被接受？經過仔細研究，作者發現機器學習社區存在一些問題。

只有機器學習頂會歡迎

許多研究者只在機器學習會議上發表論文，而不會在其研究的專屬會議或期刊（例如優化和控制領域期刊）上發表。例如，在一篇對抗機器學習論文中，整篇論文的內容幾乎都是關于解決一個優化問題的，但提出的優化方法基本是其他成熟研究成果的變體。作者還注意到，如果一篇論文沒有被 NeurIPS 或 ICLR 接收，它就會被轉投給 AAAI 或其他名氣小一點的會議，真是一點也不浪費。 

[[388405]]

有人評論稱，這其實和會議的名氣有關：「在 NeurIPS 等機器學習頂會上發表的研究，收益可能是其他會議的十倍。但有一些子領域的會議也很受重視，比如計算機視覺領域的 CVPR、自然語言處理領域的 ACL 會議等。」

審稿人不了解領域內研究進展

通過開放評審，我發現審稿人（不只是研究者）對所屬的具體領域一無所知。他們似乎只是在審核論文的正確性，而不是新穎性。實際上，我對審稿人是否了解該方法的新穎程度表示懷疑。

評論區有網友表示：這一問題也是存在的，但似乎很難解決。因為機器學習領域正在呈爆炸式增長，并不是每個審稿人都能夠跟得上該領域的發展步伐，有些審稿人掌握的知識信息的確有些滯后。

引用混亂

通常，ML 領域的研究人員只會從最近幾年的研究中引用自己或其他機器學習從業者的研究。偶爾會有一個引用數百年前研究的情況，那可能是因為與牛頓、柯西等人的經典研究有關。然后引用研究的年份就會突然跳到 2018、2019 年。

有人指出，這一問題主要是追溯難度太大造成的。經過多年的發展，很多名詞術語的叫法已經和幾十年前不一致了。當前機器學習社區中的論文引用主要來自于谷歌搜索，有些名詞想要找到其原始出處并不容易。

堆砌數學公式

論文中經常存在堆砌數學公式的情況，形成一堵巨大的「數學墻」，例如證明特征值、梯度、雅可比矩陣等數學問題的深奧條件。有些定理其實并不適用，因為在高度非凸的深度學習應用中，定理的前提條件就不滿足。因此，從這些錯綜復雜的數學定理中唯一獲得的東西就是一些微弱的直覺，這些直覺還可能會被立刻推翻。

有網友指出，「數學墻」非常令人沮喪。由于帶有數學公式的論文似乎更容易被接收，很多論文都加入了公式，但有時公式并不是必要的。

為什么會出現這種情況？有人猜測說，一個不太專業的審稿人可能會拒絕自己看不懂的想法，因為 ta 不喜歡這個想法。但在看到「數學墻」之后，ta 可能會給出更加嚴謹的審稿結果，如「弱接收（Weak Accept）」或「弱拒稿（Weak Reject）」。

缺乏后續研究

作者還發現，有些研究者在提出一個超越其他研究的新基準之后，并不會進行更多后續研究來進一步發展該研究提出的技術方法。但在其他領域，研究團隊中的一些成員后續會花費大量時間和精力去完善該研究所提出的方法，有些研究甚至會貫穿某些研究者的職業生涯。

上述幾個問題使得機器學習社區在某種程度上成為一個「回聲室」，研究者只是將大量已知的研究結果重新編排，并用其問題的新穎性來掩飾創新的缺失。然而這些論文都能被接收，因為很少有人能發現這些研究是缺乏新穎性的。

綜合以上問題，這位來自傳統行業的作者最后表示：「機器學習社區就像一棵自動接收論文的搖錢樹。」

討論

在評論區，我們還發現了一些新的觀點和看法。

一位來自物理學領域的研究者表示：「理論物理學等硬科學中也存在一些類似問題。『（論文）不發表就會被埋沒（Publish or Perish）』的觀念根深蒂固，以至于沒有人理智地嘗試解決一些實際且有意義的問題。」

這位理論物理學家還指出，不僅研究方向有所偏頗，發表論文的周期也在變短，研究質量因此降低。發表論文量成為了一種評價標準，很少有研究者潛心解決科學難題了。

此外，有人表示：「有些 ML 研究者似乎并不了解性能提升的根本原因，他們只是做了一些簡單的改進。」這也是一件令人沮喪的事情。

盡管這些問題只代表原帖作者和部分機器學習從業者的看法，但這不失為機器學習社區的一種縮影，有待解決與改善。