劉勇，中國人民大學(xué)，長聘副教授，博士生導(dǎo)師，國家級高層次青年人才。長期從事機(jī)器學(xué)習(xí)基礎(chǔ)理論研究，共發(fā)表論文 100 余篇，其中以第一作者/通訊作者發(fā)表頂級期刊和會議論文近 50 篇，涵蓋機(jī)器學(xué)習(xí)領(lǐng)域頂級期刊 JMLR、IEEE TPAMI、Artificial Intelligence 和頂級會議 ICML、NeurIPS 等。

你肯定見過大模型在解題時(shí)「裝模作樣」地輸出：「Hmm…」、「Wait, let me think」、「Therefore…」這些看似「人類化」的思考詞。

但一個(gè)靈魂拷問始終存在：這些詞真的代表模型在「思考」，還是僅僅為了「表演」更像人類而添加的語言裝飾？是模型的「頓悟時(shí)刻」，還是純粹的「煙霧彈」？

現(xiàn)在，實(shí)錘來了！來自中國人民大學(xué)高瓴人工智能學(xué)院、上海人工智能實(shí)驗(yàn)室、倫敦大學(xué)學(xué)院（UCL）和大連理工大學(xué)的聯(lián)合研究團(tuán)隊(duì)，在最新論文中首次利用信息論這把「手術(shù)刀」，精準(zhǔn)解剖了大模型內(nèi)部的推理動態(tài)，給出了令人信服的答案：

當(dāng)這些「思考詞」出現(xiàn)的瞬間，模型大腦（隱空間）中關(guān)于正確答案的信息量，會突然飆升數(shù)倍！

這絕非偶然裝飾，而是真正的「信息高峰」與「決策拐點(diǎn)」！更酷的是，基于這一發(fā)現(xiàn)，研究者提出了無需額外訓(xùn)練就能顯著提升模型推理性能的簡單方法，代碼已開源！

• 論文題目：Demystifying Reasoning Dynamics with Mutual Information: Thinking Tokens are Information Peaks in LLM Reasoning
• 論文鏈接：https://arxiv.org/abs/2506.02867
• 代碼鏈接：https://github.com/ChnQ/MI-Peaks

核心發(fā)現(xiàn)一：揭秘大模型推理軌跡中的「信息高峰」現(xiàn)象

研究者們追蹤了像 DeepSeek-R1 系列蒸餾模型、QwQ 這類擅長推理的大模型在解題時(shí)的「腦電波」（隱空間表征）。他們測量每一步的「腦電波」與最終正確答案的互信息（Mutual Information, MI），并觀察這些互信息如何演繹變化。

驚人現(xiàn)象出現(xiàn)了：模型推理并非勻速「爬坡」，而是存在劇烈的「信息脈沖」！在特定步驟，互信息值會突然、顯著地飆升，形成顯著的「互信息峰值」（MI Peaks）現(xiàn)象。這些峰值點(diǎn)稀疏但關(guān)鍵，如同黑暗推理路徑上突然點(diǎn)亮的強(qiáng)光路標(biāo)！

這意味著什么？直覺上，這些互信息峰值點(diǎn)處的表征，模型大腦中那一刻的狀態(tài)，蘊(yùn)含了更多指向正確答案的最關(guān)鍵信息！

進(jìn)一步地，研究者通過理論分析證明（定理 1 & 2），推理過程中積累的互信息越高，模型最終回答錯(cuò)誤概率的上界和下界就越緊，換言之，回答正確的概率就越高！

既然互信息峰值的現(xiàn)象較為普遍地出現(xiàn)在推理模型（LRMs）中，那么非推理模型（non-reasoning LLMs）上也會表現(xiàn)出類似的現(xiàn)象嗎？

為了探索這一問題，研究者選取了 DeepSeek-R1-Distill 系列模型和其對應(yīng)的非推理模型進(jìn)行實(shí)驗(yàn)。如上圖橙色線所示，在非推理模型的推理過程中，互信息往往表現(xiàn)出更小的波動，體現(xiàn)出明顯更弱的互信息峰值現(xiàn)象，且互信息的數(shù)值整體上更小。

這表明在經(jīng)過推理能力強(qiáng)化訓(xùn)練后，推理模型一方面似乎整體在表征中編碼了更多關(guān)于正確答案的信息，另一方面催生了互信息峰值現(xiàn)象的出現(xiàn)！

核心發(fā)現(xiàn)二：「思考詞匯」=「信息高峰」的語言化身

那么，這些互信息峰值點(diǎn)處的表征，到底蘊(yùn)含著怎樣的語義信息？

神奇的是，當(dāng)研究者把這些「信息高峰」時(shí)刻的「腦電波」翻譯回人能看懂的語言（解碼到詞匯空間）時(shí)，發(fā)現(xiàn)它們最常對應(yīng)的，恰恰是那些標(biāo)志性的「思考詞」：

• 反思/停頓型：「Hmm」、「Wait」…
• 邏輯/過渡型：「Therefore」、「So」…
• 行動型：「Let」、「First」…

例如，研究者隨機(jī)摘取了一些模型輸出： 「Wait, let me think differently. Let’s denote...,」 「Hmm, so I must have made a mistake somewhere. Let me double-check my calculations. First, ...」

研究團(tuán)隊(duì)將這些在互信息峰值點(diǎn)頻繁出現(xiàn)、承載關(guān)鍵信息并在語言上推動模型思考的詞匯命名為「思考詞匯」（thinking tokens）。它們不是可有可無的裝飾，而是信息高峰在語言層面的「顯靈」，可能在模型推理路徑上扮演著關(guān)鍵路標(biāo)或決策點(diǎn)的角色！

為了證明這些 tokens 的關(guān)鍵性，研究者進(jìn)行了干預(yù)實(shí)驗(yàn)，即在模型推理時(shí)抑制這些思考詞匯的生成。

實(shí)錘驗(yàn)證：實(shí)驗(yàn)結(jié)果顯示，抑制思考詞匯的生成會顯著影響模型在數(shù)學(xué)推理數(shù)據(jù)集（如 GSM8K、MATH、AIME24）上的性能；相比之下，隨機(jī)屏蔽相同數(shù)量的其他普通詞匯，對性能影響甚微。這表明這些存在于互信息峰值點(diǎn)處的思考詞匯，確實(shí)對模型有效推理具有至關(guān)重要的作用！

啟發(fā)應(yīng)用：無需訓(xùn)練，巧用「信息高峰」提升推理性能

理解了「信息高峰」和「思考詞匯」的奧秘，研究者提出了兩種無需額外訓(xùn)練即可提升現(xiàn)有 LRMs 推理性能的實(shí)用方法。

應(yīng)用一：表征循環(huán)（Representation Recycling - RR）

• 啟發(fā)：既然 MI 峰值點(diǎn)的表征蘊(yùn)含豐富信息，何不讓模型「多咀嚼消化」一下？
• 方法：在模型推理過程中，當(dāng)檢測到生成了思考詞匯時(shí)，不急于讓其立刻輸出，而是將其對應(yīng)的表征重新輸入到模型中進(jìn)行額外一輪計(jì)算，讓模型充分挖掘利用表征中的豐富信息。
• 效果：在多個(gè)數(shù)學(xué)推理基準(zhǔn)（GSM8K、MATH500、AIME24）上，RR 方法一致地提升了 LRMs 的推理性能。例如，在極具挑戰(zhàn)性的 AIME24 上，DeepSeek-R1-Distill-LLaMA-8B 的準(zhǔn)確率相對提升了 20%！這表明讓模型更充分地利用這些高信息量的「頓悟」表征，能有效解鎖其推理潛力。

應(yīng)用二：基于思考詞匯的測試時(shí)擴(kuò)展（Thinking Token based Test-time Scaling - TTTS）

• 啟發(fā)：在推理時(shí)如果允許模型生成更多 token（增加計(jì)算預(yù)算），如何引導(dǎo)模型進(jìn)行更有效的「深度思考」，而不是漫無目的地延伸？
• 方法：受啟發(fā)于前人工作，作者在模型完成初始推理輸出后，如果還有 token 預(yù)算，則強(qiáng)制模型以「思考詞匯」開頭（如「Therefore」、「So」、「Wait」、「Hmm」等）繼續(xù)生成后續(xù)內(nèi)容，引導(dǎo)模型在額外計(jì)算資源下進(jìn)行更深入的推理。
• 效果：當(dāng) token 預(yù)算增加時(shí)，TTTS 能持續(xù)穩(wěn)定地提升模型的推理性能。如圖所示，在 GSM8K 和 MATH500 數(shù)據(jù)集上，在相同的 Token 預(yù)算下，TTTS 持續(xù)優(yōu)于原始模型。在 AIME24 數(shù)據(jù)集上，盡管原始模型的性能在早期提升得較快，但當(dāng) token 預(yù)算達(dá)到 4096 后，模型性能就到達(dá)了瓶頸期；而 TTTS 引導(dǎo)下的模型，其性能隨著 Token 預(yù)算的增加而持續(xù)提升，并在預(yù)算達(dá)到 6144 后超越了原始模型。

小結(jié)

這項(xiàng)研究首次揭示了 LRMs 推理過程中的動態(tài)機(jī)制：通過互信息動態(tài)追蹤，首次清晰觀測到 LRMs 推理過程中的互信息峰值（MI Peaks）現(xiàn)象，為理解模型「黑箱」推理提供了創(chuàng)新視角和實(shí)證基礎(chǔ)。

進(jìn)一步地，研究者發(fā)現(xiàn)這些互信息峰值處的 token 對應(yīng)的是表達(dá)思考、反思等的「思考詞匯」（Thinking Tokens），并通過干預(yù)實(shí)驗(yàn)驗(yàn)證了這些 token 對模型推理性能具有至關(guān)重要的影響。

最后，受啟發(fā)于對上述現(xiàn)象的理解和分析，研究者提出了兩種簡單有效且無需訓(xùn)練的方法來提升 LRMs 的推理性能，即表征循環(huán)（Representation Recycling - RR）和基于思考詞匯的測試時(shí)擴(kuò)展（Thinking Token based Test-time Scaling - TTTS）。

研究者希望這篇工作可以為深入理解 LRMs 的推理機(jī)制提供新的視角，并進(jìn)一步提出可行的方案來進(jìn)一步推升模型的推理能力。