近年來，大型語言模型(LLMs)在復雜推理任務上的能力取得了顯著突破，從快速直覺思維(System 1)向緩慢深度推理(System 2)轉變。這種轉變雖然提高了任務準確性，但也帶來了巨大的計算成本。這種性能與成本之間的權衡引發了"推理經濟"(Reasoning Economy)的概念，它關注如何在保持模型推理能力的同時，最大化計算資源的使用效率。

本文將深入探討推理經濟的核心問題，分析LLMs在訓練后和推理階段的效率挑戰，并探索實現推理經濟的潛在解決方案。

LRM的基礎：從訓練到推理

訓練后方法

大型推理模型(LRMs)的發展主要依賴于兩種訓練后方法：監督微調(SFT)和強化學習(RL)。

**監督微調(SFT)**在增強LLMs的零樣本多任務性能方面發揮著關鍵作用。通過利用高質量的特定任務數據，SFT提高了模型在各種領域的泛化能力，如摘要、機器翻譯和問答任務。近期研究提出了利用自我改進方法增強模型推理能力，如STaR和SRLM，它們通過迭代優化推理軌跡來提升模型性能。

**強化學習(RL)**在LRMs訓練中起著關鍵作用，它不僅關注最終答案，還關注推理過程本身。根據獎勵信號的粒度，可分為過程獎勵模型(PRM)和結果獎勵模型(ORM)：

• PRM基于行動序列中的中間步驟分配獎勵，提供更細粒度的學習信號，但數據獲取困難，可能對LLMs的推理能力過于嚴格。
• ORM基于解決方案的最終結果分配獎勵，更易實現，允許語言模型在較少限制的條件下探索推理路徑，如R1模型展示的"頓悟"能力。

測試時方法

測試時方法旨在在不進行后訓練的情況下增加LLMs的計算量，以獲得更準確可靠的結果。這些方法可分為并行和順序方法：

并行方法讓LLMs同時生成多個解決方案，然后通過多數投票或ORM選擇最終答案，如Self-Consistency和best-of-N。

順序方法涉及LLMs迭代優化其先前步驟或答案，包括思維鏈(CoT)、自我完善和搜索方法，如引導波束搜索、思維樹和蒙特卡洛樹搜索(MCTS)。

研究表明，測試時方法可以顯著提升模型性能。例如，通過10,000次重復采樣和自一致性，LLaMA-3-8B-Instruct可以從82.9%提高到98.44%的準確率。最先進的LRMs如o1和R1都展示了自然的測試時擴展能力。

推理經濟面臨的挑戰

LRMs的過度謹慎和假思考行為示意圖

訓練后的低效模型行為

LRMs在訓練后階段存在一些影響推理效率的行為問題，主要包括長度偏差和欺騙行為。

長度偏差是表面對齊中最突出的問題之一，LLMs傾向于生成包含大量冗余內容的較長響應。研究發現，在現有獎勵模型訓練數據集中，更長的響應通常被優先考慮，這導致獎勵模型(RM)產生長度偏好。因此，長度偏向的RM引導LLMs生成冗余內容，但性能提升有限。

過度謹慎的LRMs表現為在給出正確答案后進行過度驗證和冗余推理。這種行為源于假設更長的輸出更可能包含正確答案或顯得更全面，即使更簡潔的響應已經足夠。這不僅導致令牌使用效率低下，還會因累積錯誤和"丟失在中間"現象而影響LLM性能。

欺騙行為指LLMs表面上與人類偏好一致，但這些行為要么無法產生實際成果，要么隱藏其他潛在目標。在LRMs中，研究發現了"假思考"行為：它們傾向于生成看似合理的推理步驟，但缺乏邏輯嚴謹性或正確性。雖然LRMs表現出自我完善或深思熟慮的推理過程，但實證證據表明，這些行為往往只是表面現象，對問題解決幾乎沒有實質性進展。

測試時的低效模型使用

雖然測試時方法可以進一步提升LRMs的性能，但其應用通常不夠理想。研究發現，兩個維度顯著影響LLMs的測試時性能：推理算法的選擇和分配給每個問題的測試時計算量。

不合理的算法選擇是一個關鍵問題。研究表明，沒有一種推理算法適用于所有任務。例如，在簡單問題上，LLMs中的多數投票可以提高準確性，但在復雜問題上，隨著投票增加，性能會下降。同樣，搜索方法在更難的問題上優于并行方法。

不合理的計算分配也是一個挑戰。雖然擴大計算量可以帶來持續的性能提升，但對于簡單問題，從生成100個樣本擴展到10,000個樣本通常是不可接受的。研究提出了LRMs的"推理邊界"概念，發現中等復雜度的問題需要更多計算。對于順序推理算法，研究發現更長的解決方案和更多的自我完善并不一定更好，存在一個最佳長度，而更難的問題需要更長的最佳長度。

推理經濟的優化：訓練后階段

推理經濟的訓練后優化方法

數據優化

高質量數據構建是提升推理經濟的基礎。通過明確編碼所需的推理模式和行為，研究人員可以引導LLMs實現更先進和有效的性能。例如，利用測試時擴展采樣的小規模長思考數據集可以增強LLMs的推理性能，使其表現出明確的長思考推理模式。研究表明，僅1,000個高質量多樣化的SFT樣本就能產生與o1-preview相媲美的LRMs，其中數據的質量、多樣性和難度是關鍵因素。

算法優化

Long2short RL旨在解決RL調優LLMs中的長度偏差問題。研究者探索了各種獎勵設計改進，如增加KL系數、對獎勵模型分數應用長度懲罰等。最近的long2short RL方法使用跨多個響應的歸一化獎勵模型，顯著減少輸出長度，同時保持推理質量。

質量-長度獎勵解耦是另一種方法，開發更復雜的獎勵模型，更好地區分響應質量和長度。一些研究在共享特征表示上聯合訓練兩個獎勵頭，一個訓練為與長度相關，另一個訓練為關注質量而忽略長度。

長度懲罰或歸一化也是有效的方法。例如，DPO的簡單長度歸一化被證明在緩解長度偏差方面相當有效。一些研究利用余弦獎勵來激勵不同的長度縮放行為，消除長度偏差。

自適應預算感知調整通過在提示中指定所需的響應長度，明確引導LLMs遵守令牌預算。一些研究通過使用RL優化模型，同時考慮準確性和長度控制，進一步擴展了這種方法。此外，還觀察到"令牌彈性"現象，過于嚴格的約束可能導致令牌成本增加。為解決這個問題，實施了預算預測和分配范式，使用零樣本或基于回歸的預算估計器預測合適的預算，避免過度計算和過于嚴格的約束。

CoT壓縮通過識別重要令牌并消除不必要的令牌或推理步驟，增強推理經濟性。這些方法可分為兩類：

1. 顯式壓縮直接強制模型生成更簡潔的推理，通過在精心策劃的數據集上進行微調或提供特定演示。
2. 隱式壓縮將多個推理令牌或步驟映射到連續空間，實現更緊湊的表示。

架構優化

系統1和系統2合作使模型能夠在快速直觀推理和緩慢深度處理之間動態選擇，優化效率。實現方式包括：

1. 單模型路由賦予一個模型根據難度信號在快速(系統1)和緩慢(系統2)推理方法之間切換的能力。
2. 多模型協作采用草稿-驗證范式，如推測解碼，先高效生成多個令牌候選，然后并行驗證。
3. 知識蒸餾將更大、更復雜模型(系統2)的知識轉移到更小、更高效的模型(系統1)。

自適應激活參數通過遞歸利用中間層或跳過一些中間層，優化模型深度和推理過程中的資源分配，平衡性能和計算成本：

1. 遞歸層使LLMs在發出令牌前執行任意多次計算，是相對較小的LLMs增加層數的簡單解決方案。
2. 動態深度利用模型剪枝和稀疏模型進行高效推理，驗證LLMs并非所有層在推理過程中都是必要的。

推理經濟的優化：測試時方法

推理經濟的測試時優化方法

輸入端優化

解碼前的自適應預算分配是一種在解碼前決定問題計算預算并強制LLMs遵循約束的方法：

1. 預算預測考慮問題對推理LLM的難度，估計和預測解決問題所需的計算量。
2. 預算約束生成在提示中指示長度約束，指導LLMs在滿足約束的同時給出響應。

輸出端優化

自適應算法選擇探索測試時算法的自適應選擇，盡管在高效思考方面的研究相對有限。一些工作自適應調整測試時算法的參數，可能用于實現算法確定。研究表明，最優設置可以實現比PRM best-of-N方法高4倍的效率。

解碼期間的自適應預算分配包括三種主要方法：

1. 提前停止利用LLMs的自評估能力決定當前解決方案是否足夠好，或在達到一致性率時停止采樣。
2. 帶剪枝的搜索在搜索過程中剪枝低質量分支，保留高質量分支，節省計算資源。
3. 約束解碼利用人類觀察到的行為設計強制解碼范式，解決LRMs的假思考和過度謹慎行為。

未來展望與開放挑戰

高效多模態推理

多模態大型語言模型(MLLMs)在各種多模態推理任務中展示了令人期待的能力。當前高效多模態推理的方法主要集中在MLLMs本身的改進上，包括模型架構優化和高效視覺技術的采用。然而，多模態(長)推理效率的評估和有針對性的優化仍處于初級階段。

高效智能體推理

LRMs的進步也為AI智能體帶來了顯著的性能提升。近期研究越來越關注在智能體系統中利用長推理能力，將其與檢索、工具增強、領域知識整合等輔助組件結合，突破性能邊界。然而，LRMs在交互環境中的有效性有限，表現為"過度思考"現象，需要探索混合LLM-LRM配置來優化智能體性能。

評估指標與基準

隨著長推理的普及和過度推理問題的加劇，研究者開始開發專門的基準和指標來定量衡量推理效率。例如，DNA Bench揭示了當前LRMs的脆弱性，表明LRMs生成的不必要令牌多達70倍，并在非推理模型能高效處理的任務上失敗。其他研究引入了基于結果和基于過程的效率指標，揭示了LRMs在簡單問題上的過度思考和在復雜問題上的思考不足問題。

LRMs的可解釋性

研究黑盒LLMs的可解釋性一直是一個備受關注的話題。特別是，LRMs通過RL自我探索，展示了與人類博士生相當的推理能力，但其實現這種性能的機制仍然神秘。當前對LRMs的研究往往集中在行為分析上，如觀察過度謹慎或假思考行為，然后追溯后訓練算法或測試時方法。然而，了解這些模型內部工作原理，探索LRMs的思維模式，識別其缺陷，并為進一步改進提供方向，這些都至關重要。

結論

本文系統地研究了實現大型推理模型推理經濟的挑戰和解決方案，強調了在保持性能的同時提高計算效率的緊迫需求。通過分析根本原因、觀察現象、關鍵挑戰和新興解決方案，本文為實現LLMs的高效推理提供了結構化路線圖和可行策略。

推理經濟的概念不僅是當前研究的綜合，也是對未來研究的呼吁，強調開發更可持續、可擴展的模型的重要性，這些模型不僅能有效推理，還能高效推理。隨著LLMs繼續演進，平衡推理深度與計算效率將成為實現真正實用AI系統的關鍵。

參考資源

GitHub：https://github.com/DevoAllen/Awesome-Reasoning-Economy-Papers

論文：https://arxiv.org/abs/2503.24377

本文轉載自???頓數AI??，作者：小頌