本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

什么？同行評審已經(jīng)可以被AI程序取代了？

就在4月1日，英國牛津大學提出了最新的評審標準算法——State-Of-the-Art Review，SOAR，同時開源了它的Python程序代碼。

SOAR優(yōu)化了過去同行評審多目標、大規(guī)模分布、延遲極高的缺陷。

這篇顛覆現(xiàn)在同行評審制度的論文，已被“國際AI頂會”SIGBOVIK 2020收錄。

SIGBOVIK是在每年4月1日舉辦的學術(shù)會議，只有一天的議程，但是接收的論文都是全球頂尖名校和科技巨頭的頂級研究。

今年在大會上發(fā)表的SOAR智能系統(tǒng)，必將把人工審核機制掃進歷史垃圾堆。

其他還靠人工審核論文的AI頂會表示瑟瑟發(fā)抖。不過大會評委們倒是很開心，因為以后不必做吃力不賺錢的活了。

船新的論文評分系統(tǒng)

目前同行評審系統(tǒng)存在著無法擴展、運行速度慢、結(jié)果不一致的問題。其中，審稿人看稿速度慢是主要問題，另外暴增的博士生數(shù)量也不可忽略。

從1990年到2010年，授予博士學位的人數(shù)呈指數(shù)式增長，但是谷歌搜索收錄的論文數(shù)量在過去幾年中卻沒有太大變化，即使旋轉(zhuǎn)坐標軸也無法保持上升趨勢。

以上證據(jù)表明，要么是現(xiàn)在博士的工作效率比其之前都要低，要么是現(xiàn)有的評審系統(tǒng)沒有提供足夠的能力審核越來越多的論文。

很顯然是后者。

因此來自牛津大學的研究人員提出了SOAR計劃。SOAR包含兩個重要參數(shù)：

1、對文章中的SOTA單詞數(shù)量進行計數(shù)，數(shù)字越高越可信。

2、另外就是判斷文章新穎性，統(tǒng)計文中novelty這個單詞出現(xiàn)的數(shù)量。

然后我們就得到了SOAR的計算公式：

計算SOAR分數(shù)的代碼也很簡單，我們可以通過Python 3.7.2的collections.Counter對象傳遞來實現(xiàn)SOAR算法。

而且，算法實現(xiàn)的成本很低，即使你沒有計算機，也可以讓研究生通過鉛筆劃線的方式，手工算出SOAR。

不過第二種算法的難度在于，需要提高研究生的忍耐力，并說服其更好地利用時間，這一點在實驗上還未得到驗證。

arXiv網(wǎng)站是我們看論文常去的地方。

如果你沒有“SOAR人肉計算器”，牛津大學的研究人員還開發(fā)了arXiv的SOAR插件，可以對未經(jīng)同行評審的論文打分，節(jié)省科研工作者的篩選時間。

插件的實際效果如下：

頂會SIGBOVIK真的很“頂”

SIGBOVIK從2007年開始舉辦，最初由CMU的高級計算機科學家Harry Q. Bovik帶頭，計算機異端學會組織，今年已是第14屆。

SIGBOVIK是一個研究內(nèi)容相當多元化的計算機頂級學術(shù)會議。

過去SIGBOVIK討論的內(nèi)容就有：無能專家系統(tǒng)、深空導航、困惑理論、大型多人在線游戲、后悔最少算法、獨自編譯、人工智障、自然智能等等。

今年的大會可謂一波三折，本來計劃3月1日截止投稿，但是一拖再拖，直到3月27日才截止。4月1日就舉辦了大會。

如此高的審核效率，不得不讓人懷疑今年的大會評審是不是就已經(jīng)用上了SOAR系統(tǒng)。

SIGBOVIK大會今年總共只接受了11篇論文，其中不乏CMU這樣的名校，也不乏Google、Yandex等知名科技公司，

廣大科研工作認為，在SOAR系統(tǒng)的加持下，SIGBOVIK將會是超越ICLR、CVPR水平的頂會。

以上內(nèi)容純屬娛樂。

論文地址：

https://arxiv.org/abs/2003.14415

SIGBOVIK大會首頁：

http://sigbovik.org/

會議全程錄像：

https://www.youtube.com/watch?v=ClfBtwoHPeg