大模型思維鏈升級(jí)之DoT框架 原創(chuàng)
本文介紹LLM大模型中其中一種思維鏈DoT。
盡管傳統(tǒng)的思維鏈方法使大型語言模型能夠進(jìn)行“思考”，例如思維樹和思維圖方法通過引入分叉結(jié)構(gòu)來探索多種推理路徑。然而，這些方法通常需要額外的控制機(jī)制或依賴多個(gè)模型的協(xié)同工作，這無疑增加了實(shí)現(xiàn)和部署的難度。
清華大學(xué)的研究團(tuán)隊(duì)最近提出了一個(gè)新的思維鏈框架思維圖（Diagram of Thought， DoT），號(hào)稱是能夠超越線性思維的突破。
感興趣的小伙伴可以看看原文：??https://arxiv.org/pdf/2409.10038v1??
DoT框架
DoT框架的獨(dú)到之處體現(xiàn)在其將推理活動(dòng)完整地構(gòu)建為一個(gè)單一大型語言模型（LLM）內(nèi)的有向無環(huán)圖（DAG）。這種策略有效地捕捉了推理過程中的非線性和遞歸性，同時(shí)確保了計(jì)算的高效率。
DoT框架在單個(gè)LLM內(nèi)部通過管理三個(gè)關(guān)鍵角色來完成思維鏈的構(gòu)建：
- 提議者（Proposers）：負(fù)責(zé)提出新的論點(diǎn)或邏輯步驟，并將這些新內(nèi)容作為節(jié)點(diǎn)加入到有向無環(huán)圖（DAG）中。
- 批評(píng)者（Critics）：負(fù)責(zé)對(duì)提出的論點(diǎn)進(jìn)行評(píng)估，識(shí)別其中的錯(cuò)誤、不一致性或邏輯上的缺陷，并在DAG中添加相應(yīng)的批評(píng)節(jié)點(diǎn)。
- 總結(jié)者（Summarizers）：負(fù)責(zé)將經(jīng)過驗(yàn)證的論點(diǎn)整合成一個(gè)連貫的推理鏈條，這本質(zhì)上是對(duì)DAG進(jìn)行拓?fù)渑判颍陨勺罱K的推理結(jié)果。
DoT推理步驟
上圖為論文中的推理步驟過程圖，具體可以分為8個(gè)步驟：
- 起點(diǎn)設(shè)定：推理的起始點(diǎn)位于圖的頂部，通常由提議者角色來啟動(dòng)。
- 初始命題形成：提議者負(fù)責(zé)提出初始命題P1，該命題在圖中以虛線圓圈表示，凸顯了提議者在推理啟動(dòng)階段的核心作用。
- 評(píng)估與修正：批評(píng)者角色對(duì)初始命題P1進(jìn)行審查，并提出批評(píng)C1。這一過程在圖中通過從P1指向C1的箭頭表示。基于批評(píng)，提議者再次介入，提出經(jīng)過改進(jìn)的命題P1'。
- 迭代優(yōu)化：命題P1'繼續(xù)接受批評(píng)C2的檢驗(yàn)。這一過程可能需要多次迭代，展示了提議者與批評(píng)者之間的動(dòng)態(tài)互動(dòng)，直至命題得到驗(yàn)證（圖中標(biāo)記為"P1' (Verified)"）。
- 多路徑探索：DoT框架的優(yōu)勢(shì)在于能夠并行探索不同的推理路徑。例如，命題P3代表了另一條推理路徑，并且也經(jīng)歷了批評(píng)和驗(yàn)證的過程。
- 驗(yàn)證命題的匯總：當(dāng)多個(gè)命題如P1' (Verified)和P3 (Verified)通過驗(yàn)證后，總結(jié)者角色介入。在圖的底部，這些經(jīng)過驗(yàn)證的命題匯聚并進(jìn)入總結(jié)階段。
- 無效命題的排除：圖中的虛線圓圈表示那些被判定無效的命題，這些命題不會(huì)被納入最終的總結(jié)，體現(xiàn)了批評(píng)者在確保推理質(zhì)量中的關(guān)鍵角色。
- 綜合推理鏈：所有經(jīng)過驗(yàn)證的命題最終由總結(jié)者整合，形成完整的推理鏈。在圖中，這一過程體現(xiàn)在底部的"Summarization"節(jié)點(diǎn)。
總結(jié)
借助這種明確的角色分配和系統(tǒng)化的推理步驟，DoT框架能夠在單一的大型語言模型內(nèi)部有效地處理復(fù)雜的推理任務(wù)。該框架不僅支持多條推理路徑的并行發(fā)展，還通過持續(xù)的批評(píng)和修正機(jī)制來保證推理的準(zhǔn)確性。這種方法顯著提升了模型解決復(fù)雜問題的能力，同時(shí)確保了推理過程的清晰度和可解釋性。
文轉(zhuǎn)載自公眾號(hào)瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷
