從OpenAI的o1模型到DeepSeek的R1系列，這些模型展現了接近人類系統-2推理能力的驚人表現。然而，正如諾貝爾經濟學獎得主丹尼爾·卡尼曼在其著作《思考，快與慢》中所揭示的那樣，"最費力的慢思考形式是那些需要你快速思考的形式"。這一看似矛盾的觀點，正是當前大語言推理模型面臨的核心挑戰。

當前的大語言推理模型雖然能夠通過強化學習訓練來實現慢思考，但在推理過程的調節上仍存在明顯不足。它們要么過度思考（overthinking），要么思考不足（underthinking），難以像人類那樣靈活地在系統-1和系統-2之間切換。

根據卡尼曼的雙系統理論，人類的思維可以分為兩個系統：系統-1負責快速、直覺性的思考，而系統-2負責緩慢、理性的思考。人類通常遵循"先快后慢"的推理模式——首先通過系統-1進行快速判斷，當遇到困難時再激活系統-2進行深度思考。這種模式既保證了日常思維的效率，又能在復雜問題面前提供足夠的認知資源。

然而，當前的大語言推理模型在推理過程中卻面臨著不同的挑戰。這些模型雖然能夠自動在快思考和慢思考之間切換，但缺乏對最優切換時機的精確判斷。

研究表明，現有的LRMs往往無法找到最優的人類式系統-1到系統-2的推理轉換策略，這導致了兩個主要問題：

• 過度思考問題：模型在已經找到正確答案后仍繼續進行不必要的推理，浪費計算資源
• 思考不足問題：模型在復雜問題面前過早結束推理，導致答案質量不佳

這些問題的根源在于現有方法缺乏對推理進度的精確控制和調節機制。

推理時擴展的局限性

目前推理時擴展主要分為兩類。第一類是并行擴展策略，采用"N選最優"的方法，通過多次采樣并根據自一致性或困惑度等標準選擇最佳答案。這種方法雖然能夠提高準確性，但計算成本較高，且無法從根本上解決推理過程中的時機控制問題。

ALPHAONE

ALPHAONE（α1）整個框架最核心的就是引入統一推理進度的調節框架。其核心理念是通過引入"α時刻"，實現對推理過程的精確控制。

這里的α代表α時刻。α1通過用戶定義的慢思考調度在α時刻之前應用密集推理調制。此外，α1通過α時刻之后的調制，將慢思考過渡標記"wait"替換為"</think>"，從而促進快思考。

具體來說，α決定了從慢到快的推理轉換何時發生。例如，將α從1.4減少到1.0會使α時刻提前，導致慢推理階段縮短，并加速p_wait的退火過程。

這種設計基于一個重要的觀察：推理進度不應該簡單地等同于生成的標記數量，而應該反映問題解決的實際進展。推理進度P∈[0,1]表示從推理開始（0）到結束（1）的整個過程，其中接近1的推理進度表示推理鏈更加信息豐富。

整個過程如下：

# 慢思考狀態 -> 檢測到"wait" -> 替換為"</think>" 
# -> 快思考狀態 -> 答案生成。

IF generated_token == "wait" AND current_time > α_moment:    
    generated_token = "</think>"       
    terminate_thinking_phase = True

• wait的插入時機在這里被選擇為文本出現"\n\n"，畢竟它代表著段落分隔，也代表著對應思路的轉換，在這些轉換點插入"wait"符合人類思維的自然節奏。
• wait的激活概率，依賴于α時刻。α采用伯努利隨機過程來激活慢思考。這個機制的設計極其精妙，涉及多個層面的考量。

1. 數學建模的合理性：每次遇到結構分隔符"\n\n"時，系統面臨一個二元選擇：是否激活慢思考。伯努利分布B(p_wait)完美地建模了這種二元隨機過程。參數p_wait控制激活慢思考的概率，提供了精確的控制機制

2. 概率調度函數S(t)的設計，p_wait隨著時間的變化的函數應該如何選擇呢，研究給出了具體的實驗結果。

研究中探索了多種調度函數：

線性退火策略（采用）：

p_wait(t) = max(0, 1 - t/T_m)

其中T_m = αN_think為α時刻的時間戳

指數衰減策略：

p_wait(t) = exp(-λt/T_m)

其中λ為衰減系數

實驗表明，線性退火策略在效果和計算效率上達到最佳平衡。

線性退火始終產生最高的推理準確率，這表明"先慢思考，后快思考"是更好的慢思考調度策略。與線性退火類似，指數退火也遵循退火式慢思考調度，其在1.5B模型上的改進進一步證明了"先慢思考，后快思考"策略的有效性。然而，與線性退火相比，這種退火調度可能導致不穩定的性能提升。

為了全面評估α1的性能，研究者在六個不同類型的推理基準上進行了系統性評估：

AIME 2024：美國數學邀請賽題目

AMC23：美國數學競賽題目

Minerva-Math：數學問題集合

LiveCodeBench：實時代碼生成評測

OlympiadBench：奧林匹克競賽問題

實驗使用了三個不同規模的開源LRMs作為基礎模型：DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B，以及QwQ-32B。

實驗結果顯示了α1的卓越性能，這些數據背后蘊含著豐富的技術洞察：

1. 不同模型規模的表現差異

DeepSeek-R1-Distill-Qwen-1.5B（小模型）：

AIME24: 23.3% → 30.0% (+6.7%)， 標記數從7280降至5916

AMC23: 57.5% → 70.0% (+12.5%)，標記數從5339降至4952

平均提升：+6.15%，效率提升：18.7%

DeepSeek-R1-Distill-Qwen-7B（中等模型）：

AIME24: 46.7% → 50.0% (+3.3%)，標記數相對穩定

AMC23: 82.5% → 90.0% (+7.5%)，標記數從4624降至4397

平均提升：+4.65%，效率提升：較小但穩定

Qwen QwQ-32B（大模型）：

AIME24: 40.0% → 53.3% (+13.3%)，標記數從4058大幅降至3141

LiveCode: 67.0% → 75.8% (+8.8%)，標記數有所增加但性能顯著提升

平均提升：+5.33%，效率表現最優

α參數是整個框架的核心控制變量，它具有多重含義和作用機制。

1. 數學定義與物理含義

α ≥ 1：表示思考階段的擴展倍數

當α = 1時，系統保持原始的推理長度

當α > 1時，系統將思考階段擴展至原來的α倍

α的取值直接影響模型在深度思考上投入的計算資源

2. α時刻的精確定義

α時刻并非簡單的時間點，而是一個推理狀態的臨界點：

設原始思考階段平均標記長度為N_think

α時刻定義為生成標記數量達到αN_think的時刻

在此時刻之前，系統處于"可調節慢思考"階段

在此時刻之后，系統轉入"強制快思考"階段

3. α參數的調節策略

不同的α值對應不同的推理策略：

α = 1.0：基線策略，保持原有推理節奏

α ∈ (1.0, 1.5)：輕度擴展，適用于中等復雜度問題

α ∈ [1.5, 2.0)：中度擴展，適用于復雜推理任務

α ≥ 2.0：重度擴展，適用于極其復雜的問題

4. α參數的自適應機制

研究中發現，最優α值與以下因素相關：

• 問題復雜度：越復雜的問題需要更大的α值
• 模型規模：較小的模型通常需要更大的α值來補償能力不足
• 任務類型：數學推理通常需要比代碼生成更大的α值

實驗結果揭示了幾個重要發現，這些發現對理解LRMs的推理機制具有深遠意義："先慢后快"優于"先快后慢"的深層原理這一發現顛覆了傳統認知，其背后有深刻的技術原理，認知負載理論的AI適應人類：有限的工作記憶容量，需要先快速篩選再深入思考。LRM擁有巨大的"記憶"容量，可以承載復雜的初始分析關鍵差異：AI系統不受人類認知限制的約束

注意力機制的差異人類注意力串行處理，需要焦點轉移。Transformer注意力并行處理所有信息，早期慢思考有助于建立全局注意力模式實驗證據：α1模型的注意力熵在前期顯著高于后期，表明更全面的信息整合

在DeepSeek-R1-Distill-Qwen-1.5B模型上關于OlympiadBench的實戰效果

Question: A chemist has three bottles, each containing a mixture of acid
and water: - bottle A contains 40g of which 10 is acid, - bottle B contains
50g of which 20 is acid, and, - bottle C contains 50g of which 30 is acid.
She uses some of the mixture from each of the bottles to create a mixture
with mass 60g of which 25 is acid. Then she mixes the remaining contents
of the bottles to create a new mixture. What percentage of the new mixture is acid?








Response from Base: <think>
Okay, so I’ve got this chemistry problem here, and I need to figure out the
percentage of acid in the new mixture. Let me try to understand the problem
step by step.
First, there are three bottles, each with a mixture of acid and water. The
masses and acid concentrations are given as follows:
- Bottle A: 40 grams, 10% acid.
- Bottle B: 50 grams, 20% acid.
- Bottle C: 50 grams, 30% acid.
The chemist is going to use some mixture from each bottle to create a new
mixture that’s 60 grams with 25% acid. Then, after using some from each bottle,
she mixes the remaining contents to create a new mixture. ... </think>
The chemist has three bottles containing acid and water with the following
compositions:
- Bottle A: 40 grams of solution, 10% acid...
The percentage of the new mixture is 18.75 ).






Response from α1: <think>
Okay, so I’ve got this chemistry problem here, and I need to figure out the
percentage of acid in the new mixture. Let me try to understand the problem
step by step.
Wait, actually, the problem says that the chemist uses some mixture from each
bottle to create a 60g mixture with 25% acid. Then, she mixes the remaining
contents of the bottles to create a new mixture. Hmm, I need to clarify if she
uses some from each bottle to make 60g, and then mixes the leftover from each
bottle. Or is it that she uses some from each bottle to make 60g, and then uses
the leftovers from each bottle to make another mixture? The wording is a bit
unclear.
Wait, let me re-read the problem.
Wait, actually, the problem says: ... </think>
The percentage of acid in the new mixture is 17.5%.
Step-by-Step Explanation:
1. Initial Acid Quantities:
- Bottle A: 40g of 10% acid → 4g acid.
- Bottle B: 50g of 20% acid → 10g acid...
Answer: The new mixture has 17.5 % acid.
Correct Answer: 17.5

本文轉載自???魯班模錘???，作者：龐德公