這幾年，AI的趨勢只增不減，每年各大機器學(xué)習(xí)會議開得那叫一個如火如荼，大家仿佛都對這個領(lǐng)域永遠充滿了旺盛的探索欲。

不過最近，對于機器學(xué)習(xí)會議出版的各種論文出現(xiàn)了質(zhì)疑的聲音，并也獲得了不小的關(guān)注：

近日，Reddit上，一位出身于傳統(tǒng)工程領(lǐng)域的小哥發(fā)布了一則帖子，上面記錄了他對近期機器學(xué)習(xí)出版論文的觀察：

「 我注意到，有很多研究人員致力于諸如優(yōu)化、控制、信號處理等“老”領(lǐng)域的交叉領(lǐng)域，他們會突然發(fā)表大量的聲稱要解決某個問題的論文。

而問題本身通常是最近產(chǎn)生的，有時會涉及到一些深度神經(jīng)網(wǎng)絡(luò)。

然而，經(jīng)過仔細檢查，這些論文唯一的新奇之處，是這個問題(通常是由其他不相關(guān)的團體提出的)，而不是研究人員提出的旨在解決這個問題的方法。

我很困惑，為什么大量看似 「 很弱」的論文，居然可以被接受。

接著，這位小哥發(fā)現(xiàn)了這些論文能投中會議的秘訣：

1.只發(fā)機器學(xué)習(xí)會議

這些研究小組只會在機器學(xué)習(xí)會議上發(fā)表文章(而不會在優(yōu)化和控制會議/期刊上發(fā)表文章，而這些可能是他們工作的核心)。

例如，在一篇關(guān)于對抗機器學(xué)習(xí)的論文中，整篇論文實際上是關(guān)于解決一個優(yōu)化問題的，但優(yōu)化的算法基本上只是在其他前人優(yōu)秀方法的基礎(chǔ)上稍微變化了一點而已。

此外，這位小哥還注意到，如果一篇論文沒有通過NeurIPS或ICLR，它們將被直接發(fā)送到AAAI和其他一些小型會議，在那里它們將被接受。

所以，在這個領(lǐng)域里，并沒有什么東西被浪費掉。

2.審稿人們不知道發(fā)生了什么

通過openreview，國外小哥發(fā)現(xiàn)審稿人(不僅僅是研究人員)對他們的特定領(lǐng)域一無所知，而似乎只會評論論文的正確性，而不是新穎性。

事實上，他懷疑審稿人自己是否知道這種方法的新穎性。

在這里所說的新穎性，是指某項技術(shù)的最新發(fā)展是多么新穎，尤其是當它與運籌學(xué)、優(yōu)化、控制和信號處理相交叉時，而實際上，最先進的技術(shù)可能遠遠超乎了主流機器學(xué)習(xí)研究者的認知。

3.隨意引用

通常情況下，研究人員只會引用他們自己或過去幾年的“機器學(xué)習(xí)人”的文獻。

偶爾，會有一條引用來自于幾百年前的柯西、牛頓、傅里葉、古諾、圖靈、馮·諾伊曼等人，接著，又回向后跳躍幾百年到2018年或者2019年。

所以，他們可能想表達：“這個問題在1930年被一些「名人」研究過，然后在2018年又被「某個家伙」研究過很多次。”

4.數(shù)學(xué)公式的堆砌

通常，會有大量的數(shù)學(xué)公式，來證明一些關(guān)于特征值、梯度、雅可比矩陣的深奧條件，以及關(guān)于他們研究問題的一些其他奇怪的事情(在其他深奧的假設(shè)下)。

還會有幾個定理，但是沒有一個是適用的，因為在運行它們的高度非凸深度學(xué)習(xí)應(yīng)用時，所有條件都被違反了。

因此，從這些復(fù)雜的定理+堆砌的數(shù)學(xué)公式中得到的唯一東西是「一些微弱的直覺」(然而馬上就會被違背)，接著什么也沒說。

5.“被拋棄的技術(shù)”

這位國外小哥發(fā)現(xiàn)，某些技術(shù)在作者聲稱它擊敗了許多基準測試之后，似乎將會被拋棄，并永遠不會再使用。

機器學(xué)習(xí)研究人員似乎喜歡頻繁的跳過一些話題，所以這可能是其中一個愿意。

但是，通常情況下，在其他領(lǐng)域，一旦一項技術(shù)被提出，同一組研究人員就會用多年來改進它，有時甚至貫徹了研究人員的整個職業(yè)生涯。

這位小哥表示：

「在某些方面,這使得某些機器學(xué)習(xí)區(qū)域就像一個回音室，在那里，研究人員正做著一些幾乎重復(fù)的事情，而這一點卻被問題的新奇性所掩蓋了。

這些論文被接受，因為沒有人可以檢測論文本身真正的新穎性(或者，三個審稿人中只有一個會注意到)。

我只是覺得機器學(xué)習(xí)會議好像被當成了「自動收紙的搖錢樹」。

一石驚起千層浪，共鳴聲層出不窮：要么發(fā)表，要么滅亡？

這則帖子仿佛引起了大家的共鳴：

一個自稱是理論物理學(xué)家的網(wǎng)友回復(fù)道：

「這就是當今理論物理學(xué)（和其他大多數(shù)『硬科學(xué)』學(xué)術(shù)研究的真實狀態(tài)。

“要么發(fā)表，要么滅亡”的心態(tài)根深蒂固。沒有人會在頭腦清醒的情況下嘗試解決實際困難和有意義的問題。只需要在這里調(diào)整一個魔性的特征，在那里混合搭配一些方法，你的簡歷里就會有一堆出版的論文了。

另外一個方面是，審查過程和所使用的方法缺少透明程度。比如一些半斤八兩的評論，讓學(xué)生替他們評論文章，以及一些政治原因等等。

用幾年的時間發(fā)表一篇可以實際解決科學(xué)問題的論文的時代已經(jīng)一去不復(fù)返了。運氣越來越成為一個幾乎比努力工作更重要的因素。

彼得·希格斯(因提出希格斯玻色子的存在和粒子獲得質(zhì)量的機制而獲得諾貝爾獎)多次說過，按照現(xiàn)在的標準，他永遠不會成功。

還有網(wǎng)友曾經(jīng)的研究方向是CNN，他表示：

「我曾經(jīng)的工作是有關(guān)CNN的應(yīng)用，然而，我們后來被告知說，需要添加一些數(shù)學(xué)公式，因為這有助于在會議上被接受。

但是，實際上，這些方程式根本沒有任何作用，既證明不了什么新東西，也沒有提供額外的見解，而僅僅只是基本描述了用矩陣表示的深度學(xué)習(xí)。

在我度過的其他論文中，我經(jīng)常看到非常復(fù)雜的數(shù)學(xué)公式，如果你花一個小時去理解它，最后的結(jié)果其實用一小行話就可以描述出來。這很可悲。

這導(dǎo)致我在剛開始非常沮喪，認為自己永遠都不會擅長數(shù)學(xué)。

的確，我可能的確不擅長，但是這些論文做的也并不是數(shù)學(xué)。

在數(shù)學(xué)公式的應(yīng)用上，一位研究氣候變化的工程博士也有共鳴：

「“堆砌的數(shù)學(xué)公式”是很普遍的一點。我們經(jīng)常被明確告知，需要用希臘字母寫出各種難以理解的數(shù)學(xué)公式，因為這樣可以令論文看起來更好。

“要么發(fā)表，要么滅亡”是學(xué)術(shù)圈殘酷的毒瘤。」

還有網(wǎng)友吐槽了各種對已有模型的魔改論文：

「此外，略好一些的SOTA“之類的論文，除了一些參數(shù)調(diào)整或者向DNN添加額外的層之外，沒有提出任何新穎的方法或者方面，并且閱讀起來也非常累人，最后卻被會議接受了。

堆砌的數(shù)學(xué)公式的存在，只是為了提供一種嚴謹感和新奇感，并掩蓋了缺乏實際創(chuàng)新能力的本質(zhì)。

當然，對已有方法進行迭代是正常的，但是在機器學(xué)習(xí)領(lǐng)域下，很多論文都感覺好像是在并沒有完全理解所提出方法為何有效的情況下進行了邊際的改進。」

結(jié)語

的確，每年大量的機器學(xué)習(xí)會議，接受著大量的論文投稿，而這每年數(shù)萬篇描述「學(xué)術(shù)進展」的論文中，到底有多少真正的發(fā)現(xiàn)？