北大字節VAR獲最佳論文、廈大清華獲亞軍，NeurIPS 2024最佳論文出爐

作者：機器之心 2024-12-04 12:10:40

由廈門大學、清華大學、微軟研究者共同完成的《Not All Tokens Are What You Need for Pretraining》（并非所有 token 都是預訓練所需的）， Zhenghao Lin 和 Zhibin Gou（茍志斌）為共同一作。

剛剛，人工智能頂會 NeurIPS 公布了今年的最佳論文（包括 Best Paper 和 Best Paper Runner-up，大會注冊者可以看到）。

一共有兩篇論文獲得最佳論文獎：

一是由北京大學、字節跳動研究者共同完成的《Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction》（視覺自回歸建模：通過 Next-Scale 預測生成可擴展圖像），論文一作為田柯宇（此前因涉攻擊內部大模型，被字節起訴）。

機器之心獲悉，從 2023 年開始，字節商業化技術團隊就在研究圖像生成的自回歸模型，一直將 VAR 作為高優項目推進，不僅安排多名研究人員重點攻關此技術方向，還投入大量算力資源支持模型訓練和實驗。該團隊近期將發布新的 VAR T2I 模型研究成果，并將對模型開源。

二是由新加坡國立大學、 Sea AI Lab 研究者共同完成的《Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators》（隨機泰勒導數估計器：任意微分算子的有效攤銷），論文一作為 Zekun Shi。

此外，還有兩篇論文獲得了最佳論文亞軍（Best Paper Runner-up）：

由英偉達和阿爾托大學共同完成的《Guiding a Diffusion Model with a Bad Version of Itself》（使用擴散模型的一個糟糕版本引導其自身），論文一作為 Tero Karras。

NeurIPS 2024 將于 12 月 10 日星期二至 12 月 15 日星期日在溫哥華舉辦。本屆共收到 15671 篇有效論文投稿，比去年又增長了 27%，但最終接收率低于 2023 年，僅有 25.8%。最佳論文的公布提前引爆了有關此次大會的討論。

以下是獲獎論文的詳細信息：

最佳論文

論文 1：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

作者：Keyu Tian, Yi Jiang, Zehuan Yuan, Bingyue Peng, Liwei Wang
機構：北京大學、字節跳動
論文地址：https://arxiv.org/pdf/2404.02905
項目地址：https://github.com/FoundationVision/VAR

論文簡介：在自然語言處理中，以 GPT、LLaMa 系列等大語言模型為例的 Autoregressive（自回歸模型已經取得了較大的成功，尤其擴展定律（Scaling Law）和零樣本任務泛化能力（Zero-shot Task Generalizability）十分亮眼，初步展示出通往「通用人工智能 AGI」的潛力。

然而在圖像生成領域中，自回歸模型卻廣泛落后于擴散（Diffusion）模型：DALL-E、Stable Diffusion、Sora 等模型均屬于 Diffusion 家族。

為了「解鎖」自回歸模型的能力和 Scaling Laws，研究團隊從圖像模態內在本質出發，模仿人類處理圖像的邏輯順序，提出一套全新的「視覺自回歸」生成范式：VAR, Visual AutoRegressive Modeling，首次使得 GPT 風格的自回歸視覺生成，在效果、速度、Scaling 能力多方面超越 Diffusion，迎來了視覺生成領域的 Scaling Laws。

VAR 為如何定義圖像的自回歸順序提供了一個全新的視角，即由粗到細、由全局輪廓到局部精調的順序。在符合直覺的同時，這樣的自回歸算法帶來了很好的效果：VAR 顯著提升了自回歸模型的速度和生成質量，在多方面使得自回歸模型首次超越擴散模型。同時 VAR 展現出類似 LLM 的 Scaling Laws 和零樣本任務泛化能力。

論文 2：Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators

作者：Zekun Shi, Zheyuan Hu, Min Lin, Kenji Kawaguchi
機構：新加坡國立大學、 Sea AI Lab
論文地址：https://arxiv.org/abs/2412.00088
項目地址：https://github.com/sail-sg/stde

論文簡介：使用包含高維和高階微分算子的損失函數來優化神經網絡是非常昂貴的，因為反向傳播中導數張量的大小按縮放，計算圖中的計算按縮放，其中，d 是域的維度，L 是前向計算圖中操作的數量，k 是導數的階數。

在之前的研究中，d 中多項式縮放是通過隨機化在優化過程中平攤計算來解決的。另外，單變量函數（d = 1）中 k 的指數縮放通過高階自動微分（AD）解決。

本研究展示了如何通過正確構造單變量高階 AD 輸入切線（input tangent），有效地對多元函數的任意階導數張量進行任意收縮，這可用于有效地隨機化任何微分算子。

當應用于 PINN（ Physics-Informed Neural Networks ）時，與使用一階 AD 進行隨機化相比，本文方法提供了 1000 倍以上的速度提升和 30 倍以上的內存減少，而且現在可以在單個 NVIDIA A100 GPU 上在 8 分鐘內解決 100 萬維 PDE。這項工作開啟了在大規模問題中使用高階微分算子的可能性。

最佳論文亞軍（Best Paper Runner-up）

論文 1：Not All Tokens Are What You Need for Pretraining

作者：Zhenghao Lin, Zhibin Gou, Yeyun Gong, Xiao Liu, yelong shen, Ruochen Xu, Chen Lin, Yujiu Yang, Jian Jiao, Nan Duan, Weizhu Chen
機構：廈門大學、清華大學、微軟
論文地址：https://openreview.net/pdf?id=0NMzBwqaAJ
項目地址：https://github.com/microsoft/rho

論文簡介：以前的語言模型預訓練方法會統一對所有訓練 token 應用下一個 token 預測損失。

但這一范式并非不可挑戰。這篇論文的作者首先做出了一個假設：「對于語言模型訓練，并非語料庫中的所有 token 都同等重要」。

然后，他們分析了語言模型的 token 級訓練動態，結果發現不同 token 有著不同的損失模式。

基于這些見解，他們開發了一種新模型 RHO-1。不同于傳統語言模型（會學習預測語料庫中的每一下個 token），RHO-1 采用了選擇性語言建模（SLM），它會選擇性地使用與所需分布對齊的有用 token 進行訓練。

該方法需要使用一個參考模型來給 token 評分，然后再在分數更高的 token 上使用一個重點關注損失（focused loss）來訓練模型。

在 15B OpenWebMath 語料庫上進行持續預訓練時，RHO-1 在 9 個數學任務上的少樣本準確率實現了 30% 的絕對提升。經過微調后，RHO-1-1B 和 7B 在 MATH 數據集上分別取得了 40.6% 和 51.8% 的 SOTA 結果 —— 僅用 3% 的預訓練 token 就達到了 DeepSeekMath 相當的水平。此外，在對 80B 個通用 token 進行持續預訓練時，RHO-1 在 15 個不同任務上實現了 6.8% 的平均提升，數據效率和語言模型預訓練的性能都得到了提升。