今年 4 月，斯坦福大學推出了一款利用大語言模型（LLM）輔助編寫類維基百科文章的神器。它就是開源的 STORM，可以在三分鐘左右將你輸入的主題轉(zhuǎn)換為長篇文章或者研究論文，并能夠以 PDF 格式直接下載。

具體來講，STORM 在 LLM 的協(xié)助下，通過檢索、多角度提問和模擬專家對話等方式，在整理收集到的信息基礎(chǔ)上生成寫作大綱，并最終形成一份詳細、深入和準確的內(nèi)容報告。STORM 尤其擅長需要大量研究和引用的寫作任務。更難得的是，用戶可以直接在 STORM 的網(wǎng)站免費體驗。

此后，STORM 不斷推出新的功能和服務，在 GitHub 上的 Star 量已經(jīng)超過了 12k。

GitHub 地址：https://github.com/stanford-oval/storm

就在最近，該團隊又推出全新功能 ——Co-STORM。與 STORM 的區(qū)別在于，它引入了協(xié)作對話機制，并采用輪次管理策略，實現(xiàn)流暢的協(xié)作式 AI 學術(shù)研究。功能包括如下：

Co-STORM LLM 專家：這種類型的智能體會根據(jù)外部知識來源生成答案并能根據(jù)對話歷史提出后續(xù)問題。

主持人（Moderator）：該智能體會根據(jù)檢索器發(fā)現(xiàn)但未在前幾輪直接使用的信息生成發(fā)人深省的問題。當然，問題生成也可以基于事實。

人類用戶：人類用戶將主動觀察對話以更深入地了解主題，或者通過注入對話來引導討論焦點，積極參與對話。

Co-STORM 的界面是下面這樣的。

體驗地址：https://storm.genie.stanford.edu/

我們讓 Co-STORM 就戰(zhàn)爭與和平（war and peace）主題來生成一篇文章，大約需要三分鐘。

在生成文章之后，我們可以看到，主持人提出問題，并得到基本信息提供者、文學教授、紀錄片導演等不同 AI 智能體的回復，然后開啟新一輪次的提問。

此外，Co-STORM 的相關(guān)論文已被 EMNLP 2024 主會議收錄。

論文地址：https://www.arxiv.org/pdf/2408.15232

運行原理概覽

下圖為 Co-STORM 框架。整體而言，Co-STORM 模擬用戶、觀點引導專家和主持人之間的協(xié)作對話。

運行原理如下所示：首先維護動態(tài)更新的思維導圖（3.2），從而幫助用戶跟蹤和參與對話（3.3）。 

在 3.4，提示模擬專家根據(jù)對話歷史來確定對話意圖，并生成基于互聯(lián)網(wǎng)的問題或答案。

在 3.5，提示模擬主持人利用未使用的信息和思維導圖生成新問題，從而自動引導對話。

最后，思維導圖可用來生成完整的引用報告以作為總結(jié)。

評估結(jié)果

自動評估可以實現(xiàn)可擴展測試，并允許對用戶行為進行一致的模擬。

研究者將 Co-STORM 與以下基線進行比較：（1）RAG Chatbot，該基線從搜索引擎檢索信息并通過一問一答范式與用戶交互；（2）STORM + QA，該基線使用 STORM 框架為給定主題生成報告以提供基本信息。

下表 3 展示了報告質(zhì)量和對話中問答輪次質(zhì)量的評估結(jié)果。問答輪次和最終報告是人類與 Co-STORM 交互時學習的主要來源。STORM + QA 在研究給定主題時考慮了多種觀點，與 RAG Chatbot 相比，確實提高了報告質(zhì)量所有四個評分維度的表現(xiàn)。

同樣，Co-STORM 的表現(xiàn)優(yōu)于 RAG Chatbot，特別是在深度和新穎性方面，它通過模擬具有多個智能體角色的協(xié)作對話，類似于圓桌討論。就對話質(zhì)量而言，Co-STORM 中的問答輪次在一致性和參與度方面明顯優(yōu)于兩個基線。

Co-STORM 的一個關(guān)鍵特性是 LM 智能體可以代表用戶提問。如下圖 3 所示，在檢查提問輪次時，Co-STORM 多智能體設計的優(yōu)勢變得更加明顯，只需要一位專家和一位主持人就可以極大地獲益。

重要的是，CoSTORM 中的主持人角色會根據(jù)有關(guān)主題的未使用信息提出問題。這樣的角色代表擁有更多已知未知（known unknowns）的人，有效地引導對話，幫助用戶在未知未知（unknown unknowns）空間中發(fā)現(xiàn)更多信息。

下表 4 為人工評分結(jié)果，圖 4 為成對比較結(jié)果。可以得出結(jié)論，CoSTORM 可以幫助用戶找到與其目標相關(guān)的更廣泛、更深層次的信息。

更多技術(shù)細節(jié)和評估結(jié)果請參考原論文。