NeurIPS 2024評審結果已經公布了！

收到郵件的小伙伴們，就像在開盲盒一樣，紛紛在社交媒體上曬出了自己的成績單。

俄亥俄州立大學助理教授曬圖，明明評審員給的評價是「論文接收」，卻沒想到最終決定是「拒收」。

應該給這位審稿人頒發一個NeurIPS 2024最佳AC獎

順便提一句，今年是NeurIPS第38屆年會，將于12月9日-15日在加拿大溫哥華舉辦。

AI大佬曬出成績單

一些網友們早已曬出了自己的錄用結果，好像一件大事。

來自洛桑聯邦理工學院（EPFL）的博士Maksym Andriushchenko稱，自己有3篇論文被NeurIPS 2024接收。

它們分別是：

論文一：Why Do We Need Weight Decay in Modern Deep Learning?

論文地址：https://arxiv.org/pdf/2310.04415

權重衰減（weight decay），比如在AdamW中傳統上被視為一種正則化的方法，但效果非常微妙，即使在過度參數化的情況下也是如此。

而對大模型而言，權重衰減則扮演者完全不同的角色。與最初一版arXiv論文相比，研究人員對其進行了很多更新。

Andriushchenko表示，自己非常喜歡這項新實驗，并且匹配了AdamW有效學習率，得到了完全相同的損失曲線，而沒有使用權重衰減。

論文二：JailbreakBench（Datasets and Benchmarks Track）

論文地址：https://arxiv.org/pdf/2404.01318

JailbreakBench是全新評估大模型越獄能力的基準。上個月，該數據集在HuggingFace上，被下載了2500次。

而且，多家媒體還使用了這個越獄神器，Gemini 1.5技術報告中也將其用于模型穩健性的評估。

論文三：Improving Alignment and Robustness with Circuit Breakers

論文地址：https://arxiv.org/pdf/2406.04313

這篇論文發布之初，已經掀起了不少的討論。

其中最重要的一點是，它有助于訓練Cygnet模型，其在越獄競技場上表現出驚人的性能，而這正是對防御是否有用的測試。

來自UT Austin的副教授Qixing Huang也有三篇論文被NeurIPS錄用。

它們分別是：

局部幾何感知神經曲面表示法CoFie。

以及另外兩篇，一個是參數化分段線性網絡PPLN，另一個是關于時空聯合建模的運動生成。

谷歌DeepMind團隊Self-Discover算法被NeurIPS 2024錄用。

中國有句古話：千人千面。正如每個人都是獨一無二的，每個問題也是獨一無二的。如何讓LLM通過推理解決復雜的看不見的問題？

Self-Discover最新論文證明了，模型可以從一般問題解決技術的集合中，組成特定用于任務的推理策略。

最新算法在GPT-4和PaLm 2-L上的性能比CoT高32%，而推理計算量比Self-Consistency少10-40倍。

論文地址：https://arxiv.org/pdf/2402.03620

又是被吐槽的一屆

不論是哪個頂會，吐槽是必不可少的。

這不，網友們對NeurIPS 2024審稿結果，吵成一鍋了。

紐約大學工學院的助理教授稱，一篇在NeurIPS提交中得分相當高的論文被拒絕。原因竟是：「模擬器是用C++編寫的，而人們不懂C++」。

他表示，論文被拒的現象太正常了，但是對這個被拒理由，實在是令人震驚。

還有一位大佬表示，團隊的兩篇關于數據集追蹤的NeurIPS論文被拒了，盡管評審結果有積極的反饋。

這顯然是，組委會試圖人為地標尺較低的錄取率。

「根據錄取率而不是成績來排擠研究，這一點其實我不太確定」。

無獨有偶，UMass Amherst的教員也表達出了這種擔憂：

我看到很多人抱怨 NeurIPS的AC，推翻了最初收到積極評審論文的決定。

作為一名作者和評審員，我能理解這種做法有多令人沮喪。作為一名區域主席，我也經歷過管理那些勉強達到錄用分數的論文的壓力，特別是當項目委員會要求更嚴格的錄用率時。

有趣的是，NeurIPS已經變得像「arXiv精選」——突出展示前一年的最佳論文。

一位UCSC教授Xin Eric Wang表示，一篇平均得分為6.75的NeurIPS投稿被拒絕了。

他表示，這是自己收到第二荒謬的元評審，最荒謬的那次，是因為結果中沒有加「%」就否決了論文。

無論論文質量如何，似乎總會有無數理由可以否決一篇論文。

元評審中提到的關鍵問題，在原始評審中只是小問題，而且他們團隊已經在回復中明確解決。Xin Eric Wang懷疑AC是否真正閱讀了他們的回復：

(1) AC提出了一個重大問題，這是基于一個得分為8分的評審者的小建議，引用了「大部分數據」，但實際數字小于10%（如回復中所述）。

(2) AC指出缺少統計數據，這些數據評審者從未提及，而且在論文正文中已經清楚地呈現。

LLM參與評審

而且AI火了之后，大模型也被用來論文評審。

這次，NeurIPS 2024也不例外。

Reddit網友評論道，自己用一個月的時間審核6篇論文，當看到自己得到的是LLM的評價，真的很受傷。

還有人指出，在自己審閱的論文中，至少發現了3篇由大模型生成的評審意見，很可能還有更多，其中3篇明顯是直接復制粘貼了ChatGPT輸出，完全沒有閱讀論文。

這些評審都給了6分，Confidence為4，與其他所有人的評價完全不一致。

更有網友評價道，「論文評論的質量很低」。

一個評審者混淆了我們方法的基線，另一個評審者混淆了基線的派生（正如我們的工作所批評的那樣）和我們方法的派生。我懷疑一些評論是由LLM產生的。