正值A(chǔ)AAI 2023論文截止提交之際，知乎上突然出現(xiàn)了一張AI投稿群的匿名聊天截圖。

其中有人聲稱，自己可以提供「3000塊一個(gè)strong accept」的服務(wù)。

爆料一出，頓時(shí)引起了網(wǎng)友們的公憤。

不過，先不要著急。

知乎大佬「微調(diào)」表示，這大概率只是「口嗨」而已。

據(jù)「微調(diào)」透露，打招呼和團(tuán)伙作案這個(gè)是任何領(lǐng)域都不能避免的問題。隨著openreview的興起，cmt的各種弊端也越來越清楚，未來留給小圈子操作的空間會(huì)變小，但永遠(yuǎn)會(huì)有空間。因?yàn)檫@是個(gè)人的問題，不是投稿系統(tǒng)和機(jī)制的問題。引入open review和bid+隨機(jī)匹配可能會(huì)有幫助。

而且他的個(gè)人觀點(diǎn)是，文章發(fā)在NeurIPS還是AAAI還是IJCNN都無所謂，充分宣傳讓大家知道你在做什么就行了，citation會(huì)證明這東西有沒有用。

那么，這種風(fēng)氣是否在如今的頂會(huì)論文審稿中普遍存在呢？又是否已經(jīng)有人因此「名利雙收」了呢？

萬物皆可發(fā)家致富

在討論之前，我們先來簡單說一下這個(gè)bid到底是啥。

為了方便分配審稿人，有的會(huì)議會(huì)設(shè)置一個(gè)bidding環(huán)節(jié)讓審稿人自己選擇感興趣的文章。然后系統(tǒng)就可以參考這些審稿人的選擇進(jìn)行論文的分配了。不過，審稿人在這個(gè)階段只能看到論文標(biāo)題和摘要。

而這其中，可就大有文章了。

各種匿名爆料

另有知乎匿名網(wǎng)友表示，格局小了吧，有微信聊天截圖為證，其實(shí)連best paper都是能互相bid的，這點(diǎn)小事算個(gè)啥。

有網(wǎng)友表示，今年投稿AAAI時(shí)，還一本正經(jīng)地讓填conflicted users、conflicting domain等等，但實(shí)際上作用不大。

這位知乎匿名用戶甚至提出了令人拍案叫絕的解決方案：用圖神經(jīng)網(wǎng)絡(luò)、推薦系統(tǒng)等自動(dòng)挖掘出以各個(gè)導(dǎo)師為中心的關(guān)系網(wǎng)絡(luò)，再檢查各大會(huì)議的bid數(shù)據(jù)、審稿數(shù)據(jù)、給分情況，這樣異常節(jié)點(diǎn)和關(guān)系就可以輕而易舉地挖出來，因?yàn)樗鼈冊(cè)趫D神經(jīng)網(wǎng)絡(luò)里像恒星一樣耀眼。

或者干脆舉辦個(gè)頂會(huì)bid數(shù)據(jù)挖掘大賽。

不過也有網(wǎng)友指出，這個(gè)所謂「3千塊包SA」，其實(shí)是有bug的：

要知道，就算你強(qiáng)推了，其他審稿人一個(gè)borderline加一個(gè)weak reject，直接白給。畢竟這東西又不是算平均分錄取的。而且分歧很大的話，AC也不可能給過的。

所以就算要給錢，也要用在「刀刃」上。這么一想，那就得找SPC或者AC了。但這時(shí)，你就需要考慮兩個(gè)問題了（其實(shí)是一個(gè)）：第一，人家這種level的，你給3000塊就想搞定？第二，如果人家真給你搞定了，只會(huì)收你3000？

當(dāng)然，除了吐槽外，還有一位「見義勇為」的senior reviewer表示，如果自己看到有審稿人給了「水文」高分，就會(huì)直接strong reject，然后寫小作文狠狠地diss，而且現(xiàn)在連模板都已經(jīng)擬好了。

據(jù)說，所有會(huì)議和期刊都有類似的問題，只是比例和嚴(yán)重程度不同。此文中就不便多講了。

某匿名用戶的建議，屬實(shí)有才

審稿隨機(jī)性有多大

AI頂會(huì)審稿的隨機(jī)性究竟有多大呢？

在2021年，NeurIPS就曾做過一次審稿一致性實(shí)驗(yàn)。

根據(jù)港中文CS博士「電光幻影煉金術(shù)」的視頻介紹，在這個(gè)實(shí)驗(yàn)中，同一份稿件有10%的概率會(huì)送給兩組審稿人，兩組審稿人互相不知道對(duì)方的存在。

兩組審稿人會(huì)分別進(jìn)行評(píng)分，有兩個(gè)領(lǐng)域主席對(duì)評(píng)分的結(jié)果作出決定。這樣就可以定量分析，同一份稿件會(huì)有多大概率得到不同的審稿結(jié)果。

結(jié)果顯示，第一組審稿人accept、第二組審稿人reject的概率是52%，這概率已經(jīng)超過一半了。

而如果第一組審稿人reject，第二組審稿人也reject的概率是83%。

這個(gè)結(jié)果和李飛飛的觀點(diǎn)也是符合的。

李飛飛就曾發(fā)表過一篇很著名的討論審稿的文章，提出了這兩個(gè)觀點(diǎn)：1.審稿過程是高度隨機(jī)的。2.差的論文會(huì)得到差的審稿意見，這是隨時(shí)間和隨機(jī)性都不會(huì)改變的黃金規(guī)則。

NeurIPS官方還進(jìn)行了這樣一個(gè)比較，每篇論文不進(jìn)行審稿，隨機(jī)決定，然后根據(jù)接收率和分歧率制成一條曲線，橫軸是接收率，縱軸是分歧率。

圖中可見，如果接收率非常低或非常高，那么分歧率是不大的。

而中間的分歧率是最大的，如果說接收率是50%的話，分歧是最大的。

AAAI和IJCAI都是采用這種模式，用高拒絕率，來換取較小的隨機(jī)性。

最后，「電光幻影煉金術(shù)」給出這樣一份關(guān)于人工智能審稿的結(jié)論小結(jié)。

風(fēng)口浪尖上的AAAI

當(dāng)初，AAAI 2022的審稿結(jié)果就飽受爭議。

有人在社交媒體上表示，自己的論文得到了4個(gè)accept，最后還是被拒了。

下面這位作者表示，4位審稿人均給出了「偏向接收」或「接收」的意見，在審稿意見中也都是正面評(píng)價(jià)：idea有趣、模型足夠solid、實(shí)驗(yàn)和分析也夠全面。

但最終結(jié)果卻是：拒稿。

對(duì)于AAAI 2023來說，采用的依然是兩階段+雙盲的審稿形式。

在第1階段中，每篇論文會(huì)得到兩名審稿人。如果收到的兩份意見都是負(fù)面的，那么這篇論文就會(huì)被直接拒絕。其余的將進(jìn)入到第2階段。

在第2階段中，每篇論文會(huì)得到至少兩名新的審稿人。在新的審稿人提交自己的意見之前，他們是不會(huì)看到第1階段的審稿結(jié)果的。

而進(jìn)入第2階段的論文作者，可以針對(duì)所有的審稿意見進(jìn)行回應(yīng)。程序委員會(huì)和高級(jí)程序委員會(huì)將會(huì)根據(jù)作者的反饋進(jìn)行討論。

至于具體的操作方法，可以參考下面的這篇論文。

該論文提出了一種新穎的審稿人-論文匹配方法，并且已經(jīng)在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了應(yīng)用（全部或部分）。

論文地址：https://arxiv.org/abs/2202.12273最后只能說，目前看來投稿時(shí)能整的花活不多，投稿人唯一能做的就是盡量寫出好文章，讓自己的paper成為NeurIPS實(shí)驗(yàn)曲線里最右邊的那一小搓。