學(xué)術(shù)綜述論文在科學(xué)研究中發(fā)揮著至關(guān)重要的作用，特別是在研究文獻快速增長的時代。傳統(tǒng)的人工驅(qū)動綜述寫作需要研究者審閱大量文章，既耗時又難以跟上最新進展。而現(xiàn)有的自動化綜述生成方法面臨諸多挑戰(zhàn)：

AI生成的綜述結(jié)構(gòu)往往缺乏連貫邏輯，組織結(jié)構(gòu)較差，存在寬度和深度的結(jié)構(gòu)失衡問題；在參考文獻方面，經(jīng)常無法引用真正相關(guān)和有影響力的文獻，容易引用無關(guān)文獻而忽略核心貢獻；評估方式主要依賴LLM整體質(zhì)量評估，缺乏對大綱質(zhì)量、參考文獻相關(guān)性等關(guān)鍵方面的細粒度分析。

在此背景下，上海人工智能實驗室聯(lián)合復(fù)旦大學(xué)、上海交通大學(xué)等多家單位，提出了SurveyForge——一個自動化生成高質(zhì)量學(xué)術(shù)綜述論文的創(chuàng)新框架，該研究已被ACL 2025主會議接收。

實驗結(jié)果顯示，SurveyForge在所有關(guān)鍵指標上都實現(xiàn)了顯著提升：核心參考文獻覆蓋率提升了近一倍，大綱質(zhì)量接近人工撰寫水平，內(nèi)容質(zhì)量在多個維度均超越現(xiàn)有方法。

更重要的是，系統(tǒng)生成約64k token的綜述僅需不到$0.50（折合3.6元）的成本，整個過程在10分鐘內(nèi)完成。

SurveyForge：面向高質(zhì)量綜述生成的創(chuàng)新框架

SurveyForge采用兩階段框架設(shè)計：大綱生成和內(nèi)容生成，通過啟發(fā)式學(xué)習(xí)方法和基于記憶的學(xué)者導(dǎo)航代理，確保生成結(jié)構(gòu)合理的綜述框架和高質(zhì)量的內(nèi)容。

核心技術(shù)創(chuàng)新主要包括三個部分。

首先，雙數(shù)據(jù)庫協(xié)同驅(qū)動的啟發(fā)式大綱生成機制。

傳統(tǒng)LLM在生成綜述大綱時常常陷入”報告式”結(jié)構(gòu)，缺乏學(xué)術(shù)寫作的層次感和邏輯性，根本原因在于現(xiàn)有方法缺乏結(jié)構(gòu)化指導(dǎo)和領(lǐng)域知識支撐。SurveyForge的架構(gòu)創(chuàng)新在于構(gòu)建了研究論文數(shù)據(jù)庫（約60萬篇arXiv計算機科學(xué)領(lǐng)域論文）和綜述大綱數(shù)據(jù)庫（約2萬篇綜述文章的層次化大綱結(jié)構(gòu)）的協(xié)同機制，前者提供領(lǐng)域知識的廣度和深度，后者提供專家級的結(jié)構(gòu)化模式。

基于這一雙數(shù)據(jù)庫架構(gòu)，系統(tǒng)突破性地引入了人類專家的結(jié)構(gòu)化思維模式：首先通過跨數(shù)據(jù)庫知識融合，同時檢索主題相關(guān)論文和已有綜述大綱，既獲得內(nèi)容廣度又學(xué)習(xí)結(jié)構(gòu)規(guī)范性；然后采用遞歸構(gòu)建策略，先通過分析專家撰寫的綜述結(jié)構(gòu)模式生成體現(xiàn)全局邏輯的一級大綱，再針對每個章節(jié)結(jié)合領(lǐng)域文獻深入細化二級結(jié)構(gòu)。這種由粗到細、由整體到局部的方法讓AI從單純的文本生成轉(zhuǎn)變?yōu)槟７聦＜宜季S的結(jié)構(gòu)化學(xué)習(xí)，實現(xiàn)了知識內(nèi)容與結(jié)構(gòu)模式的有機結(jié)合，確保了大綱既有宏觀的邏輯框架，又有微觀的細節(jié)完整性。

其次，學(xué)者導(dǎo)航代理SANA。

現(xiàn)有檢索方法的核心問題在于”遺忘性”——每次檢索都是獨立的，缺乏上下文連續(xù)性，同時將各章節(jié)視為孤立單元，未能考慮全局結(jié)構(gòu)和主題連貫性。SANA的設(shè)計邏輯是讓AI具備類似人類學(xué)者的”研究記憶”，通過三個創(chuàng)新模塊實現(xiàn)智能化的文獻檢索與篩選。

子查詢記憶模塊解決了傳統(tǒng)查詢分解的核心缺陷。傳統(tǒng)方法主要通過簡單提示和LLM實現(xiàn)查詢分解，不僅需要針對不同任務(wù)精心調(diào)優(yōu)提示，更容易導(dǎo)致分解的子查詢與原查詢之間存在顯著語義差異，從而降低參考文獻的質(zhì)量。SANA將大綱生成階段檢索的文獻集合作為記憶上下文，結(jié)合包含每個子章節(jié)標題和描述的原查詢，確保查詢分解過程始終圍繞主題核心，避免語義偏移的同時提高子查詢的精準性。

檢索記憶模塊則從根本上改變了傳統(tǒng)”全庫檢索”的低效模式。傳統(tǒng)檢索方法通常直接查詢整個文獻數(shù)據(jù)庫，不僅效率低下且缺乏上下文焦點，更重要的是容易產(chǎn)生冗余或不相關(guān)的檢索結(jié)果，限制生成內(nèi)容的整體連貫性。檢索記憶模塊巧妙地將整個大綱相關(guān)的文獻作為全局記憶，基于嵌入相似度為每個子查詢檢索最相關(guān)的文獻，這種設(shè)計既提高了檢索精度，又確保了各章節(jié)內(nèi)容與整體框架的語義一致性，真正實現(xiàn)了從局部到全局的有機統(tǒng)一。

時間感知重排序引擎針對學(xué)術(shù)文獻評估的復(fù)雜性提出了創(chuàng)新解決方案。現(xiàn)有重排序方法往往局限于表面的語義匹配，忽略了學(xué)術(shù)影響力和時間因素的重要作用。我們深刻認識到論文發(fā)表日期在確定其領(lǐng)域影響力方面的關(guān)鍵作用，以及分析不同時期論文對識別高質(zhì)量貢獻的重要性。系統(tǒng)將檢索到的文獻按發(fā)表時間分組（每組跨度2年），組內(nèi)按引用數(shù)進行top-k篩選，這種策略不僅整合了文本相關(guān)性、引用影響力和發(fā)表新近性三個維度，更重要的是實現(xiàn)了經(jīng)典權(quán)威文獻與前沿新興研究的平衡代表，確保綜述既有深厚的理論基礎(chǔ)，又緊跟學(xué)術(shù)前沿。

最后，并行生成與協(xié)調(diào)機制

長文檔生成面臨的根本挑戰(zhàn)是如何在保證效率的同時維持內(nèi)容的一致性。SurveyForge采用的并行生成策略，讓每個章節(jié)可以獨立生成內(nèi)容，極大提升了生成速度。但更重要的是其協(xié)調(diào)機制：通過共享的記憶系統(tǒng)，確保各章節(jié)雖然并行生成，但都圍繞統(tǒng)一的主題框架；最后的精煉階段則如同人類編輯的統(tǒng)稿過程，消除重復(fù)、理順邏輯，形成連貫的整體。

SurveyBench：多維度評估新標準

自動化綜述生成領(lǐng)域面臨的最大瓶頸之一是缺乏統(tǒng)一、客觀的評估標準。

現(xiàn)有評估方法主要存在三個關(guān)鍵問題：一是過度依賴LLM自身的內(nèi)部判斷進行整體質(zhì)量評估，缺乏外部客觀基準；二是無法有效評估關(guān)鍵文獻覆蓋情況，特別是對領(lǐng)域核心文獻的識別能力；三是缺乏對大綱結(jié)構(gòu)、參考文獻質(zhì)量、內(nèi)容質(zhì)量等關(guān)鍵維度的細粒度分析。這些局限性使得不同方法間的比較缺乏說服力，也難以建立一致的質(zhì)量基準。

SurveyBench的創(chuàng)新在于將”質(zhì)量”這一抽象概念轉(zhuǎn)化為可量化的指標體系。

研究團隊精心選擇了10個計算機科學(xué)前沿主題，涵蓋多模態(tài)學(xué)習(xí)、大語言模型、計算機視覺等領(lǐng)域，每個主題包含上百篇核心參考文獻，從約100篇高質(zhì)量專家撰寫的綜述中系統(tǒng)收集構(gòu)建。

更重要的是，團隊深入分析了頂級CS會議的同行評審標準，發(fā)現(xiàn)傳統(tǒng)評審?fù)蕾囋u審者的隱性知識和經(jīng)驗，難以在自動化系統(tǒng)中實現(xiàn)。

為此，研究團隊系統(tǒng)性地將這些高層次的評審指導(dǎo)原則分解為更具體、可測量的組件，最終形成了既保持專家評審本質(zhì)又便于自動化實施的三維評估框架。

SAM評估指標系列

參考文獻質(zhì)量（SAM-R）：這一指標的設(shè)計基于”核心文獻決定綜述價值”的學(xué)術(shù)共識。通過計算AI綜述與專家策劃基準的引用文獻重疊度，不僅評估了文獻選擇的準確性，更體現(xiàn)了AI系統(tǒng)對領(lǐng)域核心知識的把握程度。

大綱質(zhì)量（SAM-O）：從主題獨特性、結(jié)構(gòu)平衡、層次清晰度、邏輯組織四個維度構(gòu)建綜合評估體系，分數(shù)范圍0-100。這一指標的核心價值在于將”好的大綱”從主觀的定性描述轉(zhuǎn)化為客觀的定量標準，通過詳細的評估準則確保LLM評估的一致性和可靠性。

內(nèi)容質(zhì)量（SAM-C）：采用結(jié)構(gòu)質(zhì)量、相關(guān)性、覆蓋度的三維評估模式，以專家撰寫的高質(zhì)量綜述作為參考標準。這一設(shè)計確保生成內(nèi)容不僅在形式上符合學(xué)術(shù)寫作規(guī)范，更在實質(zhì)內(nèi)容上達到專家級水平，實現(xiàn)了形式與內(nèi)容的雙重保障。

實驗結(jié)果與核心發(fā)現(xiàn)

研究團隊在10個不同主題上對SurveyForge與AutoSurvey等現(xiàn)有方法進行了全面比較，結(jié)果顯示：

人機評估的高度一致性

通過20位計算機科學(xué)博士專家的獨立評估，驗證了自動評估系統(tǒng)的可靠性。自動評估與人工評估的一致性達到70%以上，Cohen’s kappa系數(shù)顯示強一致性，這表明SurveyBench不僅是一個評估工具，更是一個可信的質(zhì)量標準。

技術(shù)組件的有效性驗證

系統(tǒng)性的消融實驗證明了每個技術(shù)組件的必要性：啟發(fā)式學(xué)習(xí)使大綱質(zhì)量顯著提升，SANA的各個模塊都對最終質(zhì)量產(chǎn)生了積極貢獻，時間感知重排序引擎顯著提升了高質(zhì)量文獻的選擇精度。

應(yīng)用前景與影響

SurveyForge的價值不僅在于技術(shù)創(chuàng)新，更在于為學(xué)術(shù)研究生態(tài)帶來的積極變化。對于初入某一領(lǐng)域的研究者，系統(tǒng)提供了快速獲取領(lǐng)域全景的有效途徑；對于跨學(xué)科研究，系統(tǒng)降低了知識整合的門檻；對于資深研究者，系統(tǒng)可以作為文獻調(diào)研的得力助手，提升研究效率。

自動化綜述生成系統(tǒng)不是要替代人類學(xué)者，而是要增強人類的研究能力，讓研究者能夠?qū)⒏嗑ν度氲絼?chuàng)新性思考和深度分析中，而將繁重的文獻整理和初步綜述工作交給AI來完成。

論文鏈接：https://arxiv.org/abs/2503.04629Github

倉庫：https://github.com/Alpha-Innovator/SurveyForge

評估數(shù)據(jù)集：https://huggingface.co/datasets/U4R/SurveyBench