ICLR 全稱為國(guó)際學(xué)習(xí)表征會(huì)議（International Conference on Learning Representations），今年將舉辦的是第十一屆，將于 5 月 1 日至 5 日在盧旺達(dá)首都基加利線下舉辦。

在機(jī)器學(xué)習(xí)社區(qū)中，ICLR 是較為「年輕」的頂級(jí)學(xué)術(shù)會(huì)議，它由深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)獲得者 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，2013 年才剛剛舉辦第一屆。不過(guò) ICLR 很快就獲得了學(xué)術(shù)研究者們的廣泛認(rèn)可，被認(rèn)為是深度學(xué)習(xí)的頂級(jí)會(huì)議。在 Google Scholar 的學(xué)術(shù)會(huì)議 / 雜志排名中，ICLR 目前排名第十位，要高于 NeurIPS。

據(jù)今年 2 月份公布的接收數(shù)據(jù)，在今年的接收統(tǒng)計(jì)中， ICLR 共接收近 5000 篇投稿，整體接收率為 31.8%，接近于去年的 32.26%。今年還有一個(gè)變化是接收論文的 tag 會(huì)有兩個(gè)，一個(gè)是論文類型（oral、spotlight、poster），另一個(gè)是 presentation 的方式。

位于 top5% 論文內(nèi)容涉及 Transformer、in-context learning、擴(kuò)散模型等內(nèi)容。

在近日公布的獲獎(jiǎng)?wù)撐闹校灿?4 篇論文獲得杰出論文獎(jiǎng)，5 篇論文獲得杰出論文獎(jiǎng)提名。其中，來(lái)自北京大學(xué)的張博航、羅勝杰、王立威,、賀笛共同獲得一篇杰出論文獎(jiǎng)，清華大學(xué)孔祥哲、中國(guó)人民大學(xué)高瓴人工智能學(xué)院黃文炳、清華大學(xué)劉洋共同獲得一篇杰出論文獎(jiǎng)提名。

杰出論文獎(jiǎng)

• 論文 1：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
• 作者：Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong
• 機(jī)構(gòu)：KAIST、微軟亞研
• 論文鏈接：https://openreview.net/pdf?id=88nT0j5jAn

該論文提出了一種用于密集預(yù)測(cè)任務(wù)的少樣本學(xué)習(xí) pipeline，密集預(yù)測(cè)任務(wù)包括語(yǔ)義分割、深度估計(jì)、邊緣檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)等。該研究提出了一個(gè)簡(jiǎn)單的統(tǒng)一模型，可以處理所有密集預(yù)測(cè)任務(wù)，并包含多項(xiàng)關(guān)鍵創(chuàng)新。該研究將激發(fā)密集預(yù)測(cè)的進(jìn)一步發(fā)展，所提方法 —— 例如視覺(jué) token 匹配、情景（episodic）元學(xué)習(xí) —— 可以用于相關(guān)的多任務(wù)學(xué)習(xí)問(wèn)題。

• 論文 2：Rethinking the Expressive Power of GNNs via Graph Biconnectivity
• 作者：張博航, 羅勝杰, 王立威, 賀笛
• 機(jī)構(gòu)：北京大學(xué)
• 論文鏈接：https://openreview.net/pdf?id=r9hNv76KoT3

該論文基于雙連通性（biconnectivity）提出一種 GNN 表達(dá)性度量新指標(biāo)。具體來(lái)說(shuō)，該研究提出了一種利用節(jié)點(diǎn)間距離的新算法，并在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)中進(jìn)行了演示。該研究表明：雙連通性問(wèn)題在理論和實(shí)踐中都有著廣泛的潛在應(yīng)用。 

• 論文 3：DreamFusion: Text-to-3D using 2D Diffusion
• 作者：Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
• 機(jī)構(gòu)：谷歌研究院、加州大學(xué)伯克利分校
• 論文鏈接：https://openreview.net/pdf?id=FjNys5c7VyY

該論文提出了一種基于文本生成 3D 模型的有效方法，而無(wú)需 3D 模型作為訓(xùn)練數(shù)據(jù)。該論文的關(guān)鍵思想是利用本生成圖像的擴(kuò)散模型，并通過(guò)將誤差信號(hào)反向傳播到 3D 模型的神經(jīng)輻射場(chǎng)來(lái)生成 3D 模型。該方法是 SOTA 圖像生成和 3D 建模的巧妙組合，在實(shí)踐中效果極好，并將啟發(fā)各種后續(xù)工作，包括基于文本的 3D 視頻生成。

• 論文 4：Emergence of Maps in the Memories of Blind Navigation Agents
• 作者：Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
• 機(jī)構(gòu)：佐治亞理工學(xué)院、Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=lTt4KjHSsyl

該論文基于認(rèn)知科學(xué)和機(jī)器學(xué)習(xí)的跨學(xué)科方法，讓僅具備自我運(yùn)動(dòng)（egomotion）（不具備其他任何感知）的導(dǎo)航智能體學(xué)得有效表征，并實(shí)現(xiàn)有效導(dǎo)航。該研究對(duì)表征學(xué)習(xí)具有重要意義。

杰出論文獎(jiǎng)提名

除了 4 篇杰出論文，ICLR 2023 還有 5 篇論文獲得杰出論文獎(jiǎng)提名。

• 論文 1：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
• 作者：Zeyuan Allen-Zhu, Yuanzhi Li
• 機(jī)構(gòu)：Meta、MBZUAI
• 論文鏈接：https://openreview.net/pdf?id=Uuf2q9TfXGA

該論文試圖從一個(gè)新的理論視角來(lái)理解知識(shí)蒸餾。作者認(rèn)為對(duì)于自然的多視圖結(jié)構(gòu)，沒(méi)有蒸餾的情況下神經(jīng)網(wǎng)絡(luò)只能訓(xùn)練為僅依賴于部分特征，而蒸餾可以緩解這個(gè)問(wèn)題。這篇論文提供了證明這一點(diǎn)的簡(jiǎn)化示例，有助于人們更好地理解知識(shí)蒸餾的有效性。

• 論文 2：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
• 作者：Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
• 機(jī)構(gòu)：Meta AI、MIT
• 論文鏈接：https://openreview.net/pdf?id=F61FwJTZhb

該論文的主題是多回合、多階段、多人游戲的算法開(kāi)發(fā)，提出使用一種類似于自我對(duì)弈（self-play）的策略來(lái)找到游戲均衡（equilibrium）狀態(tài)，并在一個(gè)受人類玩家歡迎的復(fù)雜多人棋盤游戲上測(cè)試了該算法。其中，將尋求平衡的策略與行為克隆相結(jié)合。

• 論文 3：On the duality between contrastive and non-contrastive self-supervised learning
• 作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
• 機(jī)構(gòu)：Meta AI 等
• 論文鏈接：https://openreview.net/pdf?id=kDEL91Dufpa

在自監(jiān)督學(xué)習(xí)領(lǐng)域，各種方法似乎沒(méi)有任何共同點(diǎn)，但在實(shí)踐中卻表現(xiàn)相似。該論文對(duì)各種自監(jiān)督學(xué)習(xí)方法進(jìn)行了分析探究，發(fā)現(xiàn)了它們的共同點(diǎn)。該論文展開(kāi)研究了一些流行的自監(jiān)督學(xué)習(xí)方法，證明其提出的理論能用于實(shí)際方法。這篇論文對(duì)自監(jiān)督學(xué)習(xí)領(lǐng)域具有重要意義。

• 論文 4：Conditional Antibody Design as 3D Equivariant Graph Translation
• 作者：孔祥哲，黃文炳，劉洋
• 機(jī)構(gòu)：清華大學(xué)計(jì)算機(jī)系，清華大學(xué)智能產(chǎn)業(yè)研究院，中國(guó)人民大學(xué)高瓴人工智能學(xué)院，北京智源人工智能研究院
• 論文鏈接：https://openreview.net/pdf?id=LFHFQbjxIiP

抗體設(shè)計(jì)是藥物研發(fā)的一個(gè)重要問(wèn)題，具有重要的應(yīng)用前景。本文提出一種基于等變圖神經(jīng)網(wǎng)絡(luò)的抗體設(shè)計(jì)方法 MEAN，在給定抗原、抗體重鏈和輕鏈的條件下，實(shí)現(xiàn)了抗體 CDRs 的設(shè)計(jì)和優(yōu)化。與以往方法不同，MEAN 不但考慮了更全的「上下文信息」，而且能直接生成抗體 CDRs 的 1D 氨基酸序列及其 3D 構(gòu)象，具有更高效率。在多個(gè)數(shù)據(jù)集的完整實(shí)驗(yàn)上，MEAN 顯著優(yōu)于已有方法。論文有望為后續(xù)濕實(shí)驗(yàn)研究提供一種高效的算法工具。

• 論文 5：Disentanglement with Biological Constraints: A Theory of Functional Cell Types
• 作者：James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
• 機(jī)構(gòu)：斯坦福大學(xué)、牛津大學(xué)、UCL
• 論文鏈接：https://openreview.net/pdf?id=9Z_GfhZnGH

該研究受生物學(xué)啟發(fā)，揭示了機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)之間有趣的聯(lián)系，并從數(shù)學(xué)上證明機(jī)器學(xué)習(xí)中的約束會(huì)導(dǎo)致線性網(wǎng)絡(luò)解纏結(jié)（disentanglement）。該研究還通過(guò)實(shí)驗(yàn)表明，相同的約束對(duì)于非線性情況也是有效的。總的來(lái)說(shuō)，這項(xiàng)研究從數(shù)學(xué)的角度對(duì)單個(gè)神經(jīng)元和大腦結(jié)構(gòu)給出了更深層的理解。