會議論文的錄用竟然能內(nèi)定？

審稿人是你朋友？

大規(guī)模調(diào)參，用最好的結(jié)果對比基線來發(fā)論文？

具有學(xué)術(shù)道德應(yīng)當(dāng)是發(fā)表論文的基礎(chǔ)，近日，計(jì)算機(jī)科學(xué)家Michael L. Littman在Communications of ACM上發(fā)表了一篇文章，揭露了計(jì)算機(jī)科學(xué)界廣泛的學(xué)術(shù)欺詐，引起了軒然大波！

Michael L. Littman是計(jì)算機(jī)科學(xué)家。他主要從事強(qiáng)化學(xué)習(xí)，但在機(jī)器學(xué)習(xí)，博弈論，計(jì)算機(jī)網(wǎng)絡(luò)，部分可觀察的馬爾可夫決策過程求解，類比問題的計(jì)算機(jī)求解等領(lǐng)域都做過工作。他目前是布朗大學(xué)的計(jì)算機(jī)科學(xué)教授。

論文主要內(nèi)容

計(jì)算機(jī)科學(xué)學(xué)科歷來能夠有效地利用同行評議的會議出版物作為傳播及時和有影響力的研究成果的重要機(jī)制。

但最近會議論文試圖玩弄這一審查制度，可能損害我們有效分享研究的能力。

我想提醒社區(qū)注意一個日益嚴(yán)重的問題，這個問題打擊了審查過程所依賴的基本假設(shè)。我希望揭露一個不道德的個人群體的行為將鼓勵其他人施加社會壓力，這將有助于使相互作用者趨于一致，邀請更廣泛的人參與解決問題，并提供一些鼓勵的人陷入更高級的研究人員共謀解救自己，使共同事業(yè)與社會的其他人。我寫這個觀點(diǎn)的動機(jī)是因?yàn)槲乙庾R到在計(jì)算機(jī)架構(gòu)界有一個例子，一個初級研究員可能自殺了，而不是繼續(xù)參與可能的勾結(jié)。

共謀環(huán)(Collusion rings)涉及的領(lǐng)域遠(yuǎn)遠(yuǎn)不止計(jì)算機(jī)體系結(jié)構(gòu)。一個具體的數(shù)據(jù)，來自人工智能和機(jī)器學(xué)習(xí)領(lǐng)域，一些細(xì)節(jié)(如具體會議的身份)不會暴露出來，因?yàn)槲艺J(rèn)為點(diǎn)名弊大于利。由于我的目標(biāo)是提高人們對這個問題的認(rèn)識，幫助人們了解這個問題有多么普遍，我不認(rèn)為這些細(xì)節(jié)是必要的。

首先讓我提醒大家一下審查過程中的幾個重要特征。我所描述的并不是任何具體會議所使用的，但它與我參與組織的三四次大型會議非常吻合。

1.同行評議過程由一個項(xiàng)目委員會執(zhí)行，該委員會由一兩名項(xiàng)目主席、數(shù)百名區(qū)域主席和大約5,000名評議員組成。評審人員被要求申報利益沖突，這樣他們就不會被指派去評審那些會損害他們不公正性的論文

2.作者提交的論文，他們的姓名要被隱去參與審查(blind)。一個值得注意的會議去年收到了1萬份意見書，而6年前的歷史最高水平只有1000份。

3.審稿人根據(jù)論文標(biāo)題/摘要對提交的論文進(jìn)行“競標(biāo)”，以表明他們有資格審稿

4.評審人員是由項(xiàng)目主持人指定的論文，他們試圖尊重他們的投標(biāo)，同時避免公開的利益沖突

5.評論員閱讀指定的論文并提交評論。他們彼此分享他們的評論，并試圖就每篇論文達(dá)成共識的建議(接受/拒絕) ，這些論文是區(qū)域主席和項(xiàng)目主席用來構(gòu)建會議的技術(shù)計(jì)劃的

總的來說，風(fēng)險很高，因?yàn)榻邮苈屎艿?15%-25%) ，在任何特定的會議上發(fā)表文章的機(jī)會被限制在一年一次，出版物在建立研究人員的聲譽(yù)和最終的專業(yè)成功中扮演著中心角色。學(xué)術(shù)職位的競爭非常激烈，因此每次論文被拒，尤其是對研究生來說，都會對未來的就業(yè)前景產(chǎn)生真正的影響。一些國家將晉升和薪水的決定與在一組特定的高知名度會議(和期刊)上接受的論文數(shù)量聯(lián)系起來。

考慮到這個過程的強(qiáng)度，研究人員非常努力地讓自己做到最好。在會議截止日期之前的一兩周里，研究人員忽視了其他職責(zé)，電腦處于最佳運(yùn)行狀態(tài)，睡眠時間極少，這讓他們倍感壓力。即便如此，努力工作似乎也不足以保證成功ー眾所周知，審查過程是隨機(jī)的。在2014年一個廣為人知的案例中，神經(jīng)信息處理系統(tǒng)會議的組織者成立了兩個獨(dú)立的項(xiàng)目委員會，兩個委員會審查了10% 的提交材料。結(jié)果是，幾乎60% 的論文被一個項(xiàng)目委員會接受，但被另一個項(xiàng)目委員會拒絕，這表明許多論文的命運(yùn)取決于挑選的審稿人的具體情況，而不僅僅是工作本身的內(nèi)在價值。

作為回應(yīng)，一些作者已經(jīng)采取了與論文質(zhì)量無關(guān)的干預(yù)措施，以增加他們的論文被接受的幾率。也就是說，他們在作弊。

下面是我所知道的一種作弊方式: 共謀環(huán)（collusion ring）。雖然這個特殊案例的細(xì)節(jié)沒有公開披露，但是發(fā)現(xiàn)并記錄這種行為的項(xiàng)目負(fù)責(zé)人花了無數(shù)個小時進(jìn)行分析。問題很復(fù)雜，但我沒有理由懷疑他們的結(jié)論。以下是共謀環(huán)的工作原理:

1.相互之間共享彼此論文的標(biāo)題，這違反了盲審的原則，并造成了重大的未披露的利益沖突

2.相互勾結(jié)的人隱藏利益沖突，然后投標(biāo)審查這些文件，有時從復(fù)制帳戶，試圖被分配到這些論文作為審查員

3.相互勾結(jié)的人寫非常積極的評論這些文件，也許甚至游說領(lǐng)域的主席通過回渠道外的其他評論家的看法

4.同謀者有時會向不同謀者發(fā)送威脅性的電子郵件信息，如果同謀者發(fā)現(xiàn)他們的名字并相信不同謀者會受到影響

5.在討論過程中，一些串通的審稿人會臨時更改他們在線會議管理系統(tǒng)上的名字，也許是為了避免得到支持弱論文的名聲

這種攻擊的結(jié)果，如果沒有被發(fā)現(xiàn)和成功的話，就是一些作者因?yàn)榉浅２坏赖碌男袨槎玫搅思堎|(zhì)的獎勵。鑒于許多會議由于可在會議上提交的文件數(shù)量有限而不得不限制可接受的文件數(shù)量，這意味著其他值得提交的文件被拒絕以騰出空間。結(jié)果，會議的質(zhì)量，甚至可能更重要的是，整體的完整性都受到了影響。

研究團(tuán)體必須對串通行為做出強(qiáng)有力的回應(yīng)，向行為不端的作者和評論者發(fā)出明確的信息: 他們的行為是不可接受的。然而，除了明確的信息之外，還不清楚應(yīng)該采取什么干預(yù)措施來抑制共謀。會議組織者在幕后正在權(quán)衡數(shù)十個提案，所有這些都有潛在的陷阱。更好的紙張分配技術(shù)將有助于堵住一個正在被利用的漏洞。但是，如果沒有更好的調(diào)查工具，我們可能永遠(yuǎn)無法追究那些同謀者的責(zé)任。

科學(xué)研究是一項(xiàng)深度合作的事業(yè)。研究人員爭奪注意力和資金來源，但也建立在他們的競爭對手的想法之上。大多數(shù)研究人員將他們的工作視為對更深層次理解的探索，而不僅僅是一種支付賬單的方式。目前，同行評審過程主要由誠實(shí)的參與者組成。但是，一旦不道德的行為足夠普遍，繼續(xù)參與發(fā)現(xiàn)社區(qū)的動機(jī)就消失了。作弊者冒著摧毀他們賴以取得職業(yè)成功的體系的風(fēng)險。現(xiàn)在是時候密切關(guān)注同行評議的過程，并調(diào)整激勵機(jī)制，以便每個人都能盡可能地分享最好的研究成果。

Buckman的評論：學(xué)術(shù)欺騙請?jiān)俅竽懸恍?/h3>

Jacob Buckman是蒙特利爾學(xué)習(xí)算法研究所（MILA, Montreal Institute for Learning Algorithm）的一名博士生，2017年在卡內(nèi)基梅隆大學(xué)取得學(xué)士學(xué)位，曾在NIPS等頂會發(fā)表多篇論文。

Buckman在自己的網(wǎng)站上發(fā)表了一篇博客，表示自己做的經(jīng)常都是。

明顯的學(xué)術(shù)欺詐是我們社區(qū)大多數(shù)學(xué)者經(jīng)常犯的那種世俗的、日常的欺詐行為的自然延伸。在幾十個種子上試驗(yàn)這個閃亮的新算法，然后只報告最好的幾個。

對提出的方法運(yùn)行一個大的超參數(shù)掃描，但是使用默認(rèn)的基線。挑選模型看起來不錯的例子，或者挑選整個數(shù)據(jù)集進(jìn)行測試，確認(rèn)模型的優(yōu)勢。

建立新的問題設(shè)置，新的數(shù)據(jù)集，新的目標(biāo)，以便在一個空的競技場上取得勝利。在你的介紹中宣稱你的工作是有希望的第一步，盡管你充分意識到?jīng)]有人會在此基礎(chǔ)上繼續(xù)努力。

在一個會議上提交一篇論文，因?yàn)樗蝎@得接受的良好機(jī)會，而且你不希望浪費(fèi)你花在上面的時間，即使你已經(jīng)意識到核心思想并不完全正確。

這種低調(diào)欺詐的問題在于它是潛伏的，是微妙的。

在許多方面，欺詐行為與一個簡單的錯誤是難以區(qū)分的。

我們很難讓自己去懲罰一個好心的研究生，因?yàn)樗赡芊噶艘粋€看似簡單的錯誤，所以我們讓這些事情過去，過去，過去，直到它們變得正常。

當(dāng)標(biāo)準(zhǔn)低的時候，把自己放在更高的標(biāo)準(zhǔn)上對任何個人都沒有好處。這個領(lǐng)域的新手看到這些東西，他們學(xué)習(xí)，他們模仿。通常，他們都是直接受到導(dǎo)師的鼓勵。一個一年發(fā)表三篇論文的研究生是每個教授的夢想，所以最大化論文輸出的策略變成了實(shí)驗(yàn)室文化。

當(dāng)幾乎每個實(shí)驗(yàn)室都認(rèn)可某些行為時，它們就成為該領(lǐng)域研究標(biāo)準(zhǔn)的一部分。

當(dāng)然，實(shí)際上很難將欺詐性發(fā)表的論文與“合法”發(fā)表的論文區(qū)分開來。

所以應(yīng)當(dāng)盡可能地讓學(xué)術(shù)欺詐行為更加明目張膽，把計(jì)算機(jī)科學(xué)的學(xué)術(shù)大廈推倒重建，這也許能加強(qiáng)我們社區(qū)的學(xué)術(shù)規(guī)范，改變我們研究的方式，并提高我們的集體能力，進(jìn)步人類的知識。

最后，Buckman開玩笑地提了一下自己的所有論文都是bullshit，并聲明所有論文的代碼都是開源可復(fù)現(xiàn)的。

Reddit網(wǎng)友評論

Buckman寫的這篇博客被放到Reddit上，獲得了460多個贊。

首先是我有一個朋友系列，他認(rèn)識一個機(jī)器學(xué)習(xí)的研究生，發(fā)現(xiàn)他的教授的論文是編造的，就像他的其他研究生一樣，他們的工作都是基于教授的論文。唯一的問題是這個研究生對學(xué)術(shù)界失去了信心。這并不是我所認(rèn)識的唯一一個因?yàn)榻淌趥兊牡退奖憩F(xiàn)而逃離學(xué)術(shù)界的博士級別的人。

還有網(wǎng)友說有一個3d點(diǎn)云的論文，論文中聲稱他們的速度要比sota模型快30倍，實(shí)際上他卻慢了8倍，但還是沒人能說他的論文是學(xué)術(shù)欺詐，也許他使用了一些根本沒在論文中提到的技術(shù)。有網(wǎng)友補(bǔ)充說，那些根本無法復(fù)現(xiàn)的論文就更不用提了。

也有網(wǎng)友指出這是學(xué)術(shù)研究中的一個普遍問題，而不僅僅是 AI/ML/CS。

最后，一位坦率的網(wǎng)友表示：

你身邊有學(xué)術(shù)欺詐的人嗎？