經常在 X 平臺（推特）上瀏覽 AI 論文的研究者應該都很熟悉兩位博主：AK (@_akhaliq) 和 Aran Komatsuzaki (@arankomatsuzaki)。他們每天都會精選一些論文進行展示，方便大家重點閱讀。數據顯示，AK 在 X 平臺上的粉絲數已經接近 28 萬，Aran Komatsuzaki 也超過了 8 萬。

一般來說，能夠得到這兩位博主推薦的論文通常質量都相對有保證，后續也能得到更多研究者的關注。但是，二人的影響力到底有多大，被推薦和不被推薦的論文在后續的影響力上是否會拉開差距一直很難說清。

為了研究這些問題，來自加州大學圣芭芭拉分校的幾位研究者專門寫了一篇論文。結果顯示，被兩位博主推薦的論文在被引量上是不被推薦的論文的 2 到 3 倍。

• 論文標題：Tweets to Citations: Unveiling the Impact of Social Media Influencers on AI Research Visibility
• 論文鏈接：https://arxiv.org/pdf/2401.13782.pdf

具體來說，他們編制了一個包含 8000 多篇論文的綜合數據集。這些論文涵蓋了兩位博主從 2018 年 12 月到 2023 年 10 月期間的推文，并伴有基于發表年份、發表地點和摘要主題的 1:1 匹配對照組。分析結果顯示，得到二人推薦的論文，其引用次數顯著增加，中位數引用次數是對照組的 2 到 3 倍。這樣的結果引發了社區的一些擔憂，有人認為這代表學術界正在 TikTok 化。

不過，很多人懷疑，這個數據的因果邏輯可能是反的，因為質量更高的論文往往更容易得到這兩位博主的推薦，后續被引量自然更高。

對此，論文里其實給出了解決辦法。他們通過精確匹配來選擇對照樣本，使用發表細節和文本嵌入作為論文質量的標記。作者表示，他們驗證了他們的方法能夠成功地控制論文質量，這一點從會議審稿得分的分布相似性中得到了證明。

被兩位博主推薦的論文與未被推薦的論文 OpenReview 平均得分，來自 6 個主要的機器學習會議。圖中結果表明兩組論文的質量大致相當。

對于這個結果，也有人心態比較樂觀，表示數學領域也有類似現象，比如陶哲軒等數學家偶爾也會在網上推薦一些研究。

但有人反駁說，AI 和數學領域的情況完全不同。一方面，AI 領域涉及大量資金投入和經濟利益，這可能影響到博主推薦內容的客觀性和公正性。另一方面，博主在挑選論文時可能更容易關注到大實驗室的論文，這對一些小實驗室來說可能不太公平。

在觀察到這些潛在影響后，論文作者呼吁研究社區構建更加負責任的論文傳播方式，這些方式應該盡量展示多樣化的研究主題、作者和機構，營造一種更公平的環境。

以下是論文細節。

數據收集

該研究將具有相同基礎協變量的實驗組和對照組進行比較，以確定平均效果，并假設論文的被引量受時間、質量和主題的影響最大。雖然所用時間很容易測量，但論文質量和主題卻很難量化。

該研究使用論文標題和摘要的文本嵌入來近似化論文主題，整個數據收集過程由三個部分組成：

（1）收集目標集，即推特博主 @_akhaliq 和 @arankomatsuzaki 在推特上分享的論文；

（2）收集要匹配的潛在論文的大型數據集；

（3）通過將 (1) 中的論文與 (2) 中的論文在發表年份、發表地點以及標題和摘要的文本嵌入方面進行匹配來設置控制集。

分析

該研究將推特博主 AK 和 Komatsuzaki 分享的論文與控制集的影響進行了比較，然后根據所選論文的地理分布和作者屬性進行多變量分析。

該研究采用對比分析方法測試了以下假設：

博主分享的論文與同一領域的其他論文具有相同的被引量。 

博主分享的論文比同一領域的其他論文具有更高的被引量。

該研究比較了配對的目標集和控制集，發現 AK 分享的論文的被引量中位數為 24 (95% CI: 23, 25)，而對照組為 14（95% CI: 13, 15）；Komatsuzaki 分享的論文被引量中位數為 31 次（95% CI：27、34），而對照組為 12 次（95% CI：10.5、13.5）。與相應的控制集相比，兩個實驗集分布都偏向于更高的被引量，如下圖 3 所示。

如圖 3 (c)(d) 所示，與對照組相比，博主分享論文分布中的三個四分位數和最大值均較高。

在 2 - 樣本 Q-Q 圖（圖 4）中，我們可以看到測試分布的歸一化分位數始終較高。每個成對樣本的 Cliff’s Delta 值進一步強化了 Q-Q 結果，如表 3 所示。

表 3 的數據說明博主分享論文實際上對改變結果變量（即論文的被引量）具有重要意義。

最后，該研究通過三個測試建立統計顯著性，將實驗數據的分布與控制集 Epps-Singleton (ES)、Kolmogorov-Smirnov (KS) 和 Mann-Whitney U (MWU) 的分布進行比較。如表 3 所示，所有結果的 p 值都遠低于 α = 0.001。由此，該研究可以有力推翻原假設：博主分享的論文和對照組的引用分布相同。

總體而言，有影響力的推文和被引量之間的相關性表明機器學習社區查找和閱讀論文的方式發生了變化。傳統上，頂級會議接受度（即評審分數）一直是未來被引量的主要指標，但該研究表明，影響力大的博主分享論文已成為影響被引量的重要指標。

感興趣的讀者可以閱讀論文原文，了解更多研究內容。