AI記憶系統(tǒng)首獲統(tǒng)一框架!6大操作讓大模型擁有人類記憶能力
當(dāng)AI不再只是“即興發(fā)揮”的對(duì)話者,而開始擁有“記憶力”——我們?cè)撊绾沃匦露x智能?
來自香港中文大學(xué)、愛丁堡大學(xué)、香港科技大學(xué)與華為愛丁堡研究中心的研究團(tuán)隊(duì)聯(lián)合發(fā)布了一項(xiàng)關(guān)于AI記憶機(jī)制的系統(tǒng)性綜述,旨在在大模型時(shí)代背景下,重新審視并系統(tǒng)化理解智能體的記憶構(gòu)建與演化路徑。
大語言模型(LLMs)正快速從純文本生成工具演化為具有長期交互能力的智能體。
這一轉(zhuǎn)變對(duì)模型的“記憶能力”提出了更高的要求——不僅要能即時(shí)理解上下文,還需具備跨輪對(duì)話、多模態(tài)輸入、個(gè)性化偏好等長期記憶機(jī)制。
然而,目前關(guān)于AI記憶系統(tǒng)的研究尚未形成統(tǒng)一清晰的框架,特別是缺乏對(duì)記憶機(jī)制底層原子操作的系統(tǒng)化理解。
本綜述首次從操作與表示兩個(gè)維度出發(fā),系統(tǒng)構(gòu)建AI記憶的研究框架。
作者將AI中的記憶表示劃分為參數(shù)化記憶與上下文記憶兩大類,并提出六種基本記憶操作:鞏固(Consolidation)、更新(Updating)、索引(Indexing)、遺忘(Forgetting)、檢索(Retrieval)與壓縮(Compression)。
這些原子操作不僅揭示了AI記憶系統(tǒng)的內(nèi)部機(jī)制,也為系統(tǒng)性能優(yōu)化和長期一致性提供理論支持。
作者進(jìn)一步將這些操作映射到四類關(guān)鍵研究主題:長期記憶(long-term memory)、長上下文建模(long-context modeling)、參數(shù)記憶修改(parametric memory modification)與多源記憶融合(multi-source memory integration)。
通過這一結(jié)構(gòu)化視角,本綜述系統(tǒng)梳理了相關(guān)的研究方向、評(píng)測數(shù)據(jù)集與工具,明確了LLMs智能體中的記憶功能協(xié)同機(jī)制,并為未來研究提供了清晰的路徑指引。
記憶分類
參數(shù)化記憶 (Parametric Memory)指的是隱含存儲(chǔ)于模型內(nèi)部參數(shù)中的知識(shí)。這些知識(shí)通過預(yù)訓(xùn)練或后訓(xùn)練過程獲得,嵌入在模型權(quán)重中,在推理階段通過前向傳播訪問。
它作為一種即時(shí)、長期且持續(xù)存在的記憶形式,使模型能夠快速、無需上下文地檢索事實(shí)性和常識(shí)性知識(shí)。
然而,這類記憶缺乏可解釋性,也難以針對(duì)新經(jīng)驗(yàn)或特定任務(wù)場景進(jìn)行選擇性更新。
上下文記憶 (Contextual Memory)是指顯式的、外部的信息,用于補(bǔ)充語言模型內(nèi)部的參數(shù)知識(shí),可進(jìn)一步劃分為兩種形態(tài):
- 非結(jié)構(gòu)化上下文記憶一種面向多模態(tài)的顯式記憶系統(tǒng),支持跨異構(gòu)輸入的信息存儲(chǔ)與檢索,包括文本、圖像、音頻和視頻等。它能夠幫助智能體將推理過程與感知信號(hào)相結(jié)合,整合多模態(tài)上下文信息。根據(jù)時(shí)間尺度不同,非結(jié)構(gòu)化記憶可分為短期(如當(dāng)前對(duì)話輪的上下文)和長期(如跨會(huì)話的歷史記錄與個(gè)性化知識(shí))。
- 結(jié)構(gòu)化上下文記憶指將記憶內(nèi)容組織為預(yù)定義、可解釋的格式或結(jié)構(gòu)(如知識(shí)圖譜、關(guān)系表或本體)。這類記憶具備可查詢性和符號(hào)推理能力,常作為預(yù)訓(xùn)練語言模型聯(lián)想能力的有益補(bǔ)充。結(jié)構(gòu)化記憶既可以在推理時(shí)動(dòng)態(tài)構(gòu)建以支持局部推理,也可跨會(huì)話持久保存高質(zhì)量知識(shí)。
記憶的原子操作
為了使AI系統(tǒng)中的記憶超越靜態(tài)存儲(chǔ)、實(shí)現(xiàn)動(dòng)態(tài)演化,模型必須具備一系列管理與利用記憶的基本操作能力。這些操作可劃分為兩大類功能模塊:記憶管理(Memory Management)與記憶利用(Memory Utilization)。
記憶管理(Memory Management)
記憶管理操作控制信息的存儲(chǔ)、維護(hù)與裁剪,是確保系統(tǒng)記憶隨著時(shí)間推移合理演化的核心機(jī)制,包括以下四類操作:
- 鞏固(Consolidation)將短期經(jīng)驗(yàn)轉(zhuǎn)化為持久性記憶,如將對(duì)話軌跡或交互事件編碼為模型參數(shù)、圖譜或知識(shí)庫。是持續(xù)學(xué)習(xí)、個(gè)性化建模和外部記憶構(gòu)建的關(guān)鍵。
- 索引(Indexing)構(gòu)建實(shí)體、屬性等輔助索引,提升存儲(chǔ)信息的檢索效率與結(jié)構(gòu)化程度。支持神經(jīng)、符號(hào)與混合記憶的可擴(kuò)展訪問。
- 更新(Updating)基于新知識(shí)對(duì)已有記憶進(jìn)行激活與修改,適用于參數(shù)內(nèi)存中的定位與編輯,也包括對(duì)上下文記憶的摘要、修剪與重構(gòu)。
- 遺忘(Forgetting)有選擇地抑制或移除過時(shí)、無效甚至有害的記憶內(nèi)容。包括參數(shù)記憶中的“遺忘訓(xùn)練”機(jī)制與上下文記憶中的時(shí)間刪除或語義過濾。
記憶利用(Memory Utilization)
記憶利用指模型如何在推理過程中調(diào)用和使用已存儲(chǔ)的信息,包括以下兩類操作:
- 檢索(Retrieval)根據(jù)輸入(查詢、對(duì)話上下文或多模態(tài)內(nèi)容)識(shí)別與訪問相關(guān)記憶片段,支持跨源、跨模態(tài)甚至跨參數(shù)的記憶調(diào)用。
- 壓縮(Compression)在上下文窗口有限的條件下保留關(guān)鍵信息、丟棄冗余內(nèi)容,以提高記憶利用效率。可在輸入前進(jìn)行(如摘要預(yù)處理),也可在檢索后進(jìn)行(如生成前壓縮或融合進(jìn)模型)。
這些操作既是記憶系統(tǒng)動(dòng)態(tài)運(yùn)行的基礎(chǔ),也引入了數(shù)據(jù)中毒、誤更新等潛在風(fēng)險(xiǎn),提示未來在記憶生命周期安全性方面的研究必要性。
記憶的關(guān)鍵主題
為了進(jìn)一步落實(shí)記憶操作與表示框架,作者探討了實(shí)際系統(tǒng)中這些操作如何協(xié)同運(yùn)行,進(jìn)而支持多樣化、動(dòng)態(tài)化的記憶使用模式。
例如,在多輪對(duì)話系統(tǒng)中,檢索增強(qiáng)生成(RAG)框架廣泛采用更新、索引、檢索和壓縮等操作,以維持跨會(huì)話記憶并提升響應(yīng)質(zhì)量 。
而另一些系統(tǒng)則將長期記憶顯式編碼為超長上下文輸入,對(duì)檢索與壓縮操作尤為依賴。
基于這些實(shí)際用例,作者將AI記憶研究劃分為以下四個(gè)核心主題,分別從時(shí)間,空間,模型內(nèi)部狀態(tài),模態(tài)四個(gè)緯度體現(xiàn)出特定操作組合的模式與挑戰(zhàn):
- 長期記憶(Long-Term Memory)跨越所有記憶類型,強(qiáng)調(diào)跨會(huì)話的記憶管理、個(gè)性化與推理支持,尤其關(guān)注時(shí)間結(jié)構(gòu)建模與多輪對(duì)話中的持久知識(shí)演化;
- 長上下文記憶(Long-Context Memory)主要關(guān)聯(lián)非結(jié)構(gòu)化上下文記憶,關(guān)注參數(shù)效率(如KV緩存裁剪)與上下文利用效率(如長上下文壓縮);
- 參數(shù)化記憶修改(Parametric Memory Modification)特指對(duì)模型內(nèi)部知識(shí)的動(dòng)態(tài)重寫,涵蓋模型編輯、遺忘機(jī)制與持續(xù)學(xué)習(xí)策略;
- 多源記憶整合(Multi-Source Memory)強(qiáng)調(diào)對(duì)異構(gòu)文本來源和多模態(tài)輸入(如視覺、音頻)的統(tǒng)一建模,以提升復(fù)雜場景下的穩(wěn)健性與語義理解。
為系統(tǒng)梳理AI記憶研究的演化趨勢,作者基于統(tǒng)一的分類框架構(gòu)建了一套大規(guī)模文獻(xiàn)評(píng)估流程,覆蓋2022至2025年間 NeurIPS、ICLR、ICML、ACL、EMNLP 和 NAACL 的三萬余篇論文。
通過GPT驅(qū)動(dòng)的主題相關(guān)性打分系統(tǒng),初步篩選出近四千篇潛在相關(guān)研究,并結(jié)合人工審核進(jìn)一步精煉文獻(xiàn)集。
為衡量文獻(xiàn)影響力,作者提出了相對(duì)引用指數(shù)(RCI, Relative Citation Index),借鑒醫(yī)學(xué)領(lǐng)域的 RCR 思路,對(duì)引用量進(jìn)行時(shí)間歸一化,衡量論文在同期中的相對(duì)被引水平,從而避免“早發(fā)表多引用”帶來的偏差。
RCI 有助于識(shí)別階段性重要成果,并支撐代表性研究與發(fā)展趨勢的深入分析。這一體系不僅揭示了當(dāng)前記憶研究的重點(diǎn)分布,也為構(gòu)建更強(qiáng)大、可控的記憶增強(qiáng)型系統(tǒng)提供了系統(tǒng)性理論支持與路徑指引。
作者不僅展示了這些主題與記憶類型之間的對(duì)應(yīng)關(guān)系,也進(jìn)一步總結(jié)了每類研究中典型的記憶操作模式。
作者同時(shí)在文中附錄總結(jié)了各類主題研究的代表方法、基準(zhǔn)數(shù)據(jù)與評(píng)估指標(biāo),涵蓋操作支持范圍、實(shí)驗(yàn)評(píng)估標(biāo)準(zhǔn)與實(shí)際應(yīng)用場景,為研究者提供完整的參考框架。
長期記憶
長期記憶(Long-term Memory)是支撐AI系統(tǒng)進(jìn)行跨輪推理、個(gè)性化生成與動(dòng)態(tài)決策的關(guān)鍵能力。
相比于短期上下文窗口,長期記憶能夠跨越會(huì)話邊界,持續(xù)積累與調(diào)取歷史交互、環(huán)境觀察和用戶偏好等信息,從而構(gòu)建更具一致性和適應(yīng)性的智能行為模式。
本節(jié)圍繞長期記憶的運(yùn)行機(jī)制,系統(tǒng)梳理了其關(guān)鍵操作與利用路徑,覆蓋“記憶管理—壓縮—生成”的完整流程。
在記憶管理層面,作者總結(jié)了四類基礎(chǔ)操作。
鞏固(Consolidation)用于將短期交互轉(zhuǎn)化為長期存儲(chǔ)內(nèi)容,支撐記憶的可持續(xù)使用;索引(Indexing)構(gòu)建結(jié)構(gòu)化、可查詢的訪問路徑以提升檢索效率;更新(Updating)通過融合新知與重構(gòu)結(jié)構(gòu)實(shí)現(xiàn)記憶內(nèi)容的迭代演化;遺忘(Forgetting)則以內(nèi)容剔除或抽象壓縮的方式清除冗余、無效或敏感信息,保障系統(tǒng)穩(wěn)定性和資源可控性。
當(dāng)前主流系統(tǒng)已開始通過圖譜建模、時(shí)間標(biāo)注與用戶反饋機(jī)制等方式模擬上述操作,以支持更為動(dòng)態(tài)和人類類比的記憶演化過程。
在記憶利用層面,作者提出“檢索–壓縮–生成”三階段聯(lián)動(dòng)機(jī)制。
其中,記憶檢索(Retrieval)旨在從長期存儲(chǔ)中篩選與當(dāng)前輸入最相關(guān)的信息,可基于查詢改寫、結(jié)構(gòu)匹配或事件時(shí)間線進(jìn)行匹配優(yōu)化。
緊接其后的記憶壓縮(Compression)作為連接檢索與生成的橋梁,不僅承擔(dān)內(nèi)容篩選與信息重構(gòu)任務(wù),更統(tǒng)攝了兩個(gè)關(guān)鍵子過程:
記憶集成(Integration):即將多個(gè)檢索片段整合為統(tǒng)一上下文表征,以供模型高效解碼;記憶驅(qū)動(dòng)生成(Grounded Generation):即在推理過程中借助已整合的記憶引導(dǎo)語言生成,確保輸出與歷史上下文保持一致。
無論是靜態(tài)拼接、多輪追蹤,還是跨模態(tài)融合,這一系列操作都可歸入壓縮機(jī)制下的結(jié)構(gòu)優(yōu)化與信息篩選框架中。
盡管檢索性能在多個(gè)任務(wù)中已趨近飽和,但壓縮過程仍是系統(tǒng)性能的主要瓶頸,尤其在多輪對(duì)話、任務(wù)遷移和一致性建模等方面面臨挑戰(zhàn)。
個(gè)性化是長期記憶的重要應(yīng)用方向。作者將現(xiàn)有方法歸為兩大類:
一類是模型級(jí)適配(Model-level Adaptation),通過輕量調(diào)參或模塊化組件將用戶偏好編碼進(jìn)模型參數(shù)中;
另一類是外部記憶增強(qiáng)(External Memory Augmentation),通過調(diào)用結(jié)構(gòu)化知識(shí)圖譜、用戶畫像或非結(jié)構(gòu)化歷史對(duì)話,在推理時(shí)動(dòng)態(tài)集成用戶相關(guān)信息。
兩類方法各具優(yōu)勢,前者強(qiáng)調(diào)高效部署與任務(wù)泛化,后者突出可解釋性與個(gè)體一致性,正逐步走向融合。
在評(píng)估層面,當(dāng)前主流基準(zhǔn)仍多聚焦于檢索準(zhǔn)確率或靜態(tài)問答性能,對(duì)動(dòng)態(tài)記憶操作(如更新、遺忘、鞏固)及其時(shí)間適應(yīng)能力的評(píng)估仍顯不足。
為此,作者提出了相對(duì)引用指數(shù)(RCI)這一新型指標(biāo),對(duì)2022至2025年間的高相關(guān)研究進(jìn)行時(shí)間歸一化的影響力分析。
通過結(jié)合RCI得分與研究主題,作者進(jìn)一步揭示了不同記憶類型、任務(wù)范式與操作機(jī)制在AI長期記憶研究中的關(guān)注分布和演化趨勢。
長上下文記憶
長上下文機(jī)制是大語言模型中記憶系統(tǒng)的重要組成部分,尤其在缺乏長期外部存儲(chǔ)的場景下,承擔(dān)著臨時(shí)信息保持與動(dòng)態(tài)推理的記憶功能。
它通過在超長輸入序列中存儲(chǔ)與調(diào)取歷史交互、外部文檔或用戶信息,為AI系統(tǒng)提供跨段、跨輪的記憶支撐。
盡管當(dāng)前模型架構(gòu)和訓(xùn)練技術(shù)已使得輸入長度延伸至百萬級(jí)tokens,如何有效管理這些上下文并確保信息可用性,仍是關(guān)鍵挑戰(zhàn)。
這些挑戰(zhàn)主要體現(xiàn)在兩個(gè)方面:
一是參數(shù)記憶效率(Parametric Efficiency),即如何優(yōu)化KV緩存以支持高效長文本處理;二是上下文記憶利用(Contextual Utilization),即如何在有限窗口中選擇、壓縮并集成多源信息,發(fā)揮“上下文記憶”的推理作用。
具體來說,KV緩存優(yōu)化涉及裁剪、壓縮與檢索策略,力圖在最小化計(jì)算開銷的同時(shí)保留必要信息。
而上下文利用則涵蓋檢索、壓縮、集成與生成等核心記憶操作,廣泛應(yīng)用于多輪對(duì)話、長文閱讀與多模態(tài)推理任務(wù)。
作者指出,這些上下文機(jī)制本質(zhì)上是構(gòu)建“即時(shí)記憶”與“短期推理緩存”的技術(shù)路徑,是當(dāng)前AI記憶系統(tǒng)中不可或缺的一環(huán)。
結(jié)合RCI引用指數(shù)的分析,作者發(fā)現(xiàn)KV緩存壓縮優(yōu)化在ML社區(qū)尤為活躍,而上下文壓縮與檢索則是NLP領(lǐng)域的研究重點(diǎn)。
盡管相關(guān)工作已有初步成果,但在面對(duì)多源、跨模態(tài)、任務(wù)特定的復(fù)雜記憶場景時(shí),長上下文記憶的組織與調(diào)用方式仍顯不足,值得作為未來AI記憶系統(tǒng)構(gòu)建的重要方向加以深入探索。
參數(shù)記憶修改
參數(shù)化記憶作為大語言模型中隱式編碼的知識(shí)載體,是實(shí)現(xiàn)長期知識(shí)保持與快速調(diào)用的核心形式。
隨著大模型逐步走向開放世界環(huán)境與個(gè)性化應(yīng)用場景,如何在不重新訓(xùn)練模型的前提下,動(dòng)態(tài)調(diào)控內(nèi)部知識(shí)表征成為關(guān)鍵挑戰(zhàn)。
本節(jié)從“編輯(Editing)、遺忘(Unlearning)、持續(xù)學(xué)習(xí)(Continual Learning)”三類操作出發(fā),系統(tǒng)梳理了近期關(guān)于參數(shù)化記憶修改的研究進(jìn)展。
編輯類方法旨在對(duì)模型中的特定記憶進(jìn)行精準(zhǔn)定位與修改,主流策略包括定位再編輯、元學(xué)習(xí)驅(qū)動(dòng)、提示引導(dǎo)與外參模塊等,應(yīng)用廣泛于實(shí)體更正與知識(shí)糾錯(cuò)任務(wù);
遺忘方法則聚焦于選擇性地移除敏感或錯(cuò)誤知識(shí),實(shí)現(xiàn)記憶擦除的同時(shí)保留其他無關(guān)內(nèi)容,方法涵蓋額外模塊插入、目標(biāo)函數(shù)設(shè)計(jì)與輸入操控等路徑;
持續(xù)學(xué)習(xí)方法通過正則化或回放機(jī)制,實(shí)現(xiàn)新知識(shí)的漸進(jìn)融合與災(zāi)難遺忘的緩解,適用于動(dòng)態(tài)任務(wù)和多階段訓(xùn)練設(shè)置。
作者進(jìn)一步在三個(gè)方面進(jìn)行了深入討論:
- 性能表現(xiàn)分析:不同方法在CounterFact、ZsRE與ToFU基準(zhǔn)上展示了不同的權(quán)衡格局,提示“特異性建模”與“持續(xù)性挑戰(zhàn)”仍是后續(xù)研究重點(diǎn);
- 可擴(kuò)展性評(píng)估:當(dāng)前大多數(shù)非提示法仍受限于模型規(guī)模與計(jì)算資源,在大模型上的大規(guī)模修改能力亟待提升;
- 影響力趨勢(RCI分析):編輯方法關(guān)注度高、落地豐富,而遺忘方法雖數(shù)量較少,但在“訓(xùn)練目標(biāo)”和“附加參數(shù)”等方向展現(xiàn)出良好影響潛力。
綜上,作者強(qiáng)調(diào):
參數(shù)記憶不僅是模型知識(shí)調(diào)控的關(guān)鍵接口,也是未來智能體學(xué)習(xí)能力延展的基礎(chǔ)模塊,值得圍繞“表達(dá)粒度、多輪積累、語義泛化”等方向持續(xù)深入探索。
多源記憶
多源記憶是構(gòu)建現(xiàn)實(shí)世界智能體的核心機(jī)制。
現(xiàn)代AI系統(tǒng)需融合內(nèi)在的參數(shù)化知識(shí)與多樣化的外部記憶,包括結(jié)構(gòu)化數(shù)據(jù)(如知識(shí)圖譜、數(shù)據(jù)庫)與非結(jié)構(gòu)化多模態(tài)信息(如文本、圖像、語音、視頻),以支撐復(fù)雜任務(wù)中的推理一致性、響應(yīng)可信度與信息可追溯性。
本節(jié)圍繞兩大核心挑戰(zhàn)——跨文本整合與多模態(tài)協(xié)調(diào),系統(tǒng)梳理了當(dāng)前主流方法與研究趨勢。
在跨文本整合方面,研究主要聚焦于兩類任務(wù):
其一是多源融合,通過符號(hào)–神經(jīng)混合推理、結(jié)構(gòu)與非結(jié)構(gòu)協(xié)同召回以及鏈?zhǔn)酵评頇C(jī)制,推動(dòng)參數(shù)化記憶與外部知識(shí)之間的深度對(duì)接;其二是沖突處理,強(qiáng)調(diào)在整合異構(gòu)信息時(shí)進(jìn)行顯式的來源歸因與一致性驗(yàn)證,避免事實(shí)漂移與語義沖突。代表性工作涵蓋上下文沖突檢測、知識(shí)可信度調(diào)控與沖突消解等策略。
在多模態(tài)協(xié)調(diào)方面,研究路徑沿三大方向逐步拓展:
模態(tài)融合策略從聯(lián)合嵌入與提示級(jí)融合發(fā)展到基于圖結(jié)構(gòu)的可控對(duì)齊;模態(tài)檢索從靜態(tài)相似度匹配演進(jìn)為時(shí)間感知與意圖驅(qū)動(dòng)的動(dòng)態(tài)召回;時(shí)間建模則成為支撐多輪交互與任務(wù)延續(xù)的關(guān)鍵,涌現(xiàn)出如 WorldMem 與 E-Agent 等具備自維護(hù)能力的系統(tǒng),能夠?qū)崿F(xiàn)多模態(tài)記憶的持續(xù)壓縮、索引與更新,從而完成從“被動(dòng)調(diào)用”向“主動(dòng)演化”的范式轉(zhuǎn)變。
RCI 統(tǒng)計(jì)顯示,跨文本推理仍是當(dāng)前多源記憶研究的主要陣地,尤其在結(jié)構(gòu)化與非結(jié)構(gòu)化知識(shí)整合方面方法體系日益成熟;
與此同時(shí),多模態(tài)協(xié)調(diào)研究也快速興起,在融合、檢索與時(shí)序建模方向表現(xiàn)出顯著影響力。
盡管如此,當(dāng)前系統(tǒng)在沖突檢測與跨源一致性建模方面仍存顯著空缺。
未來的研究應(yīng)致力于構(gòu)建具備沖突感知、動(dòng)態(tài)演化與時(shí)間一致性控制能力的統(tǒng)一多源記憶體系,以支撐真實(shí)環(huán)境中長期、多模態(tài)、多任務(wù)的智能交互。
記憶的實(shí)際應(yīng)用
隨著AI系統(tǒng)從靜態(tài)對(duì)話走向動(dòng)態(tài)交互、長期適應(yīng)與多模態(tài)融合,記憶集成正成為支撐各類現(xiàn)實(shí)應(yīng)用的核心機(jī)制。
無論是編碼通用知識(shí)的參數(shù)化模型(如編程助手、醫(yī)學(xué)/法律問答)、追蹤用戶偏好的上下文系統(tǒng)(如健康陪伴與個(gè)性化推薦)、還是執(zhí)行復(fù)雜任務(wù)的結(jié)構(gòu)化智能體(如會(huì)議助理、代碼伴侶)——都依賴于對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化與多模態(tài)記憶的統(tǒng)一調(diào)用。
代表性產(chǎn)品如ChatGPT、GitHub Copilot、Replika、Amazon推薦系統(tǒng)與騰訊 ima.copilot,體現(xiàn)了記憶驅(qū)動(dòng)AI從“任務(wù)工具”向“長期伙伴”的范式轉(zhuǎn)變。
在工具層面,記憶增強(qiáng)系統(tǒng)逐步構(gòu)建出從底層組件(向量數(shù)據(jù)庫、檢索器、LLM)到操作框架(LangChain、LlamaIndex、Graphiti)再到完整服務(wù)平臺(tái)(Mem0、Zep、Memary)的生態(tài)體系。
它們支撐長期上下文管理、個(gè)體狀態(tài)建模、知識(shí)保持與行為調(diào)節(jié)等關(guān)鍵能力,并正推動(dòng)“記憶即服務(wù)”的工程化實(shí)現(xiàn)。
作者在附錄中詳盡的分析了記憶相關(guān)的組件,框架,服務(wù)以及產(chǎn)品。
人類 vs. AI:記憶系統(tǒng)對(duì)照
作者進(jìn)一步詳細(xì)分析了人類與人工智能系統(tǒng)的記憶的相似點(diǎn)和不同點(diǎn)。
具體來說,二者在機(jī)制雖然在功能上高度趨同——都支持學(xué)習(xí)、推理與決策,并在多時(shí)間尺度上組織信息——但其底層實(shí)現(xiàn)卻體現(xiàn)出本質(zhì)本別。
但在人類大腦中,記憶由神經(jīng)網(wǎng)絡(luò)隱式編碼,依賴情緒、語境和聯(lián)想觸發(fā),更新常常間接且?guī)в衅`。
而在AI系統(tǒng)中,記憶可以是顯式存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)或模型參數(shù),通過檢索、重寫或壓縮策略高效更新,具有可追蹤與可編程性。
兩者在以下關(guān)鍵維度上差異顯著:
- 存儲(chǔ)結(jié)構(gòu)生物分布式 vs. 模塊化/參數(shù)化
- 鞏固機(jī)制被動(dòng)慢速整合(睡眠等生理機(jī)制)vs. 顯式快速寫入(策略驅(qū)動(dòng)、可選擇)
- 索引方式稀疏聯(lián)想激活(海馬體驅(qū)動(dòng))vs. 嵌入索引或鍵值查找
- 更新方式重構(gòu)式再鞏固 vs. 精準(zhǔn)定位與編輯
- 遺忘機(jī)制自然衰減 vs. 策略刪除與可控擦除
- 檢索機(jī)制聯(lián)想觸發(fā) vs. 查詢驅(qū)動(dòng)
- 可壓縮性隱式提煉 vs. 顯式裁剪與量化
- 所有權(quán)屬性私有與不可共享 vs. 可復(fù)制與可廣播
- 容量邊界生物限制 vs. 受存儲(chǔ)與計(jì)算資源約束,接近于無限擴(kuò)展
AI記憶系統(tǒng)的未來藍(lán)圖:從操作瓶頸到認(rèn)知躍遷
要構(gòu)建真正具備長期適應(yīng)、跨模態(tài)理解與個(gè)性化推理能力的AI系統(tǒng),記憶機(jī)制必須邁向新一輪突破。
本研究基于RCI分析與最新趨勢,系統(tǒng)梳理了記憶增強(qiáng)AI的未來關(guān)鍵方向:
在該文提及的主題層面,當(dāng)前AI系統(tǒng)仍面臨一些關(guān)鍵挑戰(zhàn):長期記憶缺乏統(tǒng)一評(píng)估,導(dǎo)致檢索內(nèi)容與生成輸出脫節(jié);長上下文建模難以兼顧效率與表達(dá)能力;參數(shù)化記憶的修改與擦除機(jī)制缺乏控制力與可擴(kuò)展性;多源記憶融合中普遍存在沖突、不一致與壓縮瓶頸。
在前沿視角上,研究者正積極探索更具人類認(rèn)知特征的機(jī)制:如何構(gòu)建支持時(shí)間感知的時(shí)空記憶?如何實(shí)現(xiàn)從模型參數(shù)中直接“檢索知識(shí)”?如何融合結(jié)構(gòu)化、非結(jié)構(gòu)化與向量記憶實(shí)現(xiàn)持續(xù)學(xué)習(xí)?作者也從類腦架構(gòu)中獲得啟示——雙通道鞏固、層級(jí)抽象、有限容量與再激活機(jī)制為AI提供了新的記憶組織范式。
此外,統(tǒng)一表示體系、群體記憶架構(gòu)與安全可控的忘憶機(jī)制也日益重要。AI系統(tǒng)正從“有記憶”走向“會(huì)使用記憶”,而未來的智能體必須具備自我維護(hù)、可解釋、可協(xié)同的全鏈條記憶能力。
論文地址:https://arxiv.org/abs/2505.00675
Github地址:https://github.com/Elvin-Yiming-Du/Survey_Memory_in_AI