當下，企業(yè)正處于部署AI的關(guān)鍵節(jié)點。

隨著AI系統(tǒng)在企業(yè)運營中的深度融合，計算成本與響應(yīng)時間成為阻礙AI廣泛應(yīng)用的主要瓶頸。

來自Zoom的華人研究團隊取得了一項突破性成果，他們開發(fā)的「草稿鏈」（Chain of Draft，CoD）技術(shù)，有望從根本上改變企業(yè)大規(guī)模部署AI的模式。

通過減少冗長表述并聚焦關(guān)鍵要點，草稿鏈（CoD）在準確率上與思維鏈（CoT）相當甚至更優(yōu)，使用的token量僅為7.6%，顯著降低了推理任務(wù)的成本和延遲。

目前，該項目已在GitHub上開源。

論文鏈接：https://arxiv.org/abs/2502.18600

項目鏈接：https://github.com/sileix/chain-of-draft

AI研究員Prabhakar表示，「對于一家每月處理100萬次推理查詢的企業(yè)而言，采用草稿鏈技術(shù)，每月成本可從（使用思維鏈時的）3800美元降至760美元，每月節(jié)省超過3000美元。」

草稿鏈對于企業(yè)的吸引力，更在于其簡便的實現(xiàn)方式。

與需要投入大量成本進行模型重新訓練或架構(gòu)調(diào)整的技術(shù)不同，已在使用CoT的企業(yè)，僅需對現(xiàn)有模型的提示進行簡單修改，就能順利切換至CoD。

在實時客戶支持、移動AI、教育以及金融服務(wù)等對延遲極為敏感的應(yīng)用場景中，CoD技術(shù)的價值尤為明顯。

在這些場景下，即使是極短暫的延遲，也可能對用戶體驗造成嚴重影響。

Prabhakar總結(jié)道，「隨著AI模型的不斷演進，優(yōu)化推理效率與提升原始能力同樣重要。」

OpenAI o1和DeepSeek R1等推理模型在復(fù)雜任務(wù)處理上取得了顯著進展，思維鏈（CoT）技術(shù)功不可沒。

CoT模仿人類的結(jié)構(gòu)化推理，將問題分解為逐步探索的過程。

然而，CoT往往產(chǎn)生冗長的中間推理步驟，導致高延遲和更高的計算成本。

草稿鏈：靈感源于人類認知

CoD的靈感來源于人類解決復(fù)雜問題的方式。

在解數(shù)學題或邏輯謎題時，人們通常不會詳細闡述每一個細節(jié)，而是用縮寫形式只記錄關(guān)鍵信息。

受此啟發(fā)，研究人員提出了草稿鏈（CoD）這一全新的提示策略。

CoD不要求模型生成冗長的中間步驟，而是讓LLM在每一步生成簡潔、信息密集的輸出。

這種方法限制每個推理步驟最多五個詞，使模型專注于最關(guān)鍵的信息。

研究團隊在眾多基準測試中驗證了CoD的性能，包括算術(shù)推理（GSM8k）、常識推理（日期理解和體育知識理解）以及符號推理（拋硬幣任務(wù)）。

其中，Claude 3.5 Sonnet在處理體育相關(guān)問題時，CoD將平均輸出從189.4個token減少到僅14.3個token，降幅達92.4%！同時準確率從93.2%提高到了97.3%。

CoD在顯著減少token的情況下，大幅降低了延遲和計算成本，實現(xiàn)了與CoT相當?shù)臏蚀_率。

為了說明標準提示、CoT和CoD的區(qū)別，考慮以下簡單的算術(shù)問題：

「Jason有20個棒棒糖，他分給Denny一些，現(xiàn)在有12個棒棒糖，他給了Denny多少？」

標準提示方法生成的回答通常直接輸出答案，而沒有任何推理過程。雖然結(jié)果正確，卻缺乏推理過程的透明度。

CoT提供了詳細的推理步驟。雖然回答準確且可解釋，但包含了許多與解決數(shù)學問題無關(guān)的描述性細節(jié)，增加了token數(shù)量和響應(yīng)延遲。

CoD僅聚焦于得出解決方案所必需的基本數(shù)學運算，將無關(guān)的上下文細節(jié)統(tǒng)統(tǒng)去除。

這種方式在確保透明度和答案正確性的同時，顯著減少了所需的token數(shù)量，使得推理過程更加簡潔高效。

實驗結(jié)果

實驗中比較了三種不同的提示策略：標準提示、思維鏈（CoT）和草稿鏈（CoD）。

標準提示策略使用常規(guī)的少樣本提示，模型直接返回最終答案，沒有任何推理或解釋。

CoT策略遵循論文中提供的少樣本示例，讓模型逐步進行詳細推理。

而CoD策略則要求模型在思考時逐步推理，但每個推理步驟限制在最多五個詞，從而實現(xiàn)簡潔高效的推理過程。

實驗采用了兩個主流模型：OpenAI GPT-4o和Anthropic Claude 3.5 Sonnet，確保研究結(jié)果具有廣泛的代表性。

實驗結(jié)果清晰地表明，CoD在保持高準確率的同時，大幅降低了token使用量和延遲。在各類推理任務(wù)中，CoD與CoT相比展現(xiàn)出顯著的效率優(yōu)勢。

算術(shù)推理

在算術(shù)推理任務(wù)中，研究人員選擇了GSM8k數(shù)據(jù)集，該數(shù)據(jù)集包含8500個小學水平的數(shù)學問題，每個問題都配有詳細的逐步解決方案。

CoD展現(xiàn)出顯著的效率提升，實驗結(jié)果見下表。

對于GPT-4o和Claude 3.5，CoD都達到了91%的準確率，而每個響應(yīng)僅需約40個token，相比CoT減少了約80%。

這也降低了平均延遲，GPT-4o降低了76.2%，Claude 3.5降低了48.4%。

常識推理

在常識推理方面，研究人員評估了BIG - bench中的日期理解和體育理解任務(wù)。

CoD不僅通過生成顯著更少的響應(yīng)token，顯著降低了延遲和成本，而且準確率優(yōu)于CoT。

在日期理解任務(wù)中，使用CoD的Claude 3.5 Sonnet模型達到了89.7%的準確率，超過了CoT的87.0%，延遲從3.2s降低到1.4s。

體育理解任務(wù)中，CoD將Claude 3.5 Sonnet的平均輸出token從189.4減少到14.3，減少了92.4%！同時準確率從93.2%提升至97.3%。

符號推理

在符號推理任務(wù)中，研究人員按照原始思維鏈論文的設(shè)計合成了一個包含250個示例的拋硬幣測試集。

在標準提示下，GPT-4o和Claude 3.5 Sonnet的準確率分別為73.2%和85.2%。使用CoT和CoD時，兩個模型的準確率均達到了100%。

與CoT相比，GPT-4o的token減少了68%，Claude 3.5 Sonnet減少了86%。

這些實驗結(jié)果表明，CoD不僅能保持高準確性，還能大幅提高推理效率。

CoT在需要高透明度、可解釋性強的場合表現(xiàn)出色，如復(fù)雜決策支持。CoD則在對效率和響應(yīng)速度有高要求的場景中更具優(yōu)勢，如實時應(yīng)用、大規(guī)模AI部署、資源受限環(huán)境等。

CoD讓先進的推理技術(shù)變得更加親民、易用，有助于推動其在更廣泛場景中的普及。