本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

?本科生搞科研到底能做出什么成績？

最新被CVPR 2022收錄的一篇論文中，提供了一種新思路來解決深度學習中長尾分布數(shù)據(jù)的分類問題，最終實現(xiàn)了新SOTA。

文章一共5位作者，有博士生，也有來自新加坡A*STAR的高級研究員……

而排在一作位置的，是一位來自天津大學的本科生——李同學。

厲害的是，這還不是這位“初生牛犢”的第一篇頂會論文，在此之前，他還中了一篇數(shù)據(jù)挖掘領(lǐng)域的頂會（WWW 2022），同樣是一作。

本科生搞科研，勢頭已經(jīng)這么強了嗎？

大三進實驗室，大四就有2篇頂會在手

李同學來自天津大學智能與計算學部，今年大四。

這篇CVPR文章，主要就是以新型集成（ensembling）學習策略來解決長尾分類的問題。

長尾分布大家都知道，對于這些數(shù)據(jù)的分類則是深度學習中十分常見的一個應用。

它的難點主要是樣本量極端不平衡，尤其尾部樣本量過少，難以獲得有效的訓練結(jié)果。

目前，基于集成學習的方法顯示出巨大潛力，實現(xiàn)了SOTA性能。

但這種方法有兩個局限性：

一是在failure-sensitive應用中的預測通常不可信，這對極容易出錯的尾部數(shù)據(jù)的影響非常大；

二是它會為所有樣本分配統(tǒng)一數(shù)量的資源（experts），這對于簡單樣本來說，造成了多余、過高的計算成本。

因此，李等人提出，通過引入不確定性集成，來實現(xiàn)對尾部類別樣本的自動感知。

在此基礎(chǔ)上，提出為尾部類別樣本動態(tài)分配比頭部樣本更多的模型資源（experts），以兼顧性能與效率。

△ 測試階段使用哈佛提出的DS理論形成joint uncertainty

最終，所得模型實現(xiàn)了對尾部類別樣本的自動化檢測與訓練調(diào)節(jié)，成為一個解決長尾分類問題的通用模型。

一系列分類、尾部檢測、離群點檢測和故障預測等任務的綜合實驗證明，該模型的性能成功打敗現(xiàn)有的SOTA方法。

李同學是在大三的時候，憑著優(yōu)秀的學習成績進入了學部的機器學習與數(shù)據(jù)挖掘?qū)嶒炇?/span>。

在導師張長青（天津大學博導）的帶領(lǐng)下，經(jīng)過短短一年半的學習，就中標了兩篇頂會論文。

可以說后生可畏。

越來越多的本科生開始發(fā)頂會

不過要說起本科生搞科研，其實大家應該有所注意，很多學校對于這件事越來越開放和重視：

在大三或者更低年級時，就會開放一些名額讓有潛力的學生進入實驗室，和研究生、博士生一起搞科研。

比如清華“星火班”就招募大二學生，北大也鼓勵學生從大二就開始開展科研項目，而像中科大等學校，對做出相應成績的本科生還會給予專門的獎學金。

在這樣的情況下，已經(jīng)有不少像李這樣的學生，在本科期間就發(fā)表上頂會了，可謂光環(huán)滿身。

比如我們熟悉的清華特獎得主、2016級本科生高天宇，大學四年期間就有四篇頂會在手：兩篇AAAI、兩篇EMNLP，還開過一個直播，專門傳授起自己的科研經(jīng)驗。

比如MIT本科生毛嘯，大四中標計算機理論頂會FOCS 2021，并摘得最佳學生論文獎。

再比如清華電子系本科生劉泓，3篇一作頂會；北大本科生吳克文不僅發(fā)頂會（ACM計算理論年會STOC），還拿下最佳論文獎；以及電子科大本科生王譚也有1篇一作CVPR 2020、浙大本科生任意同樣1篇一作ICML 2019……

類似的例子非常多。

可以說，本科生搞科研是越來越厲害了，大家覺得呢？?