成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

AI記憶系統(tǒng)首獲統(tǒng)一框架!6大操作讓大模型擁有人類記憶能力

人工智能 新聞
這一轉(zhuǎn)變對(duì)模型的“記憶能力”提出了更高的要求——不僅要能即時(shí)理解上下文,還需具備跨輪對(duì)話、多模態(tài)輸入、個(gè)性化偏好等長期記憶機(jī)制。

當(dāng)AI不再只是“即興發(fā)揮”的對(duì)話者,而開始擁有“記憶力”——我們?cè)撊绾沃匦露x智能?

來自香港中文大學(xué)、愛丁堡大學(xué)、香港科技大學(xué)與華為愛丁堡研究中心的研究團(tuán)隊(duì)聯(lián)合發(fā)布了一項(xiàng)關(guān)于AI記憶機(jī)制的系統(tǒng)性綜述,旨在在大模型時(shí)代背景下,重新審視并系統(tǒng)化理解智能體的記憶構(gòu)建與演化路徑。

圖片

大語言模型(LLMs)正快速從純文本生成工具演化為具有長期交互能力的智能體。

這一轉(zhuǎn)變對(duì)模型的“記憶能力”提出了更高的要求——不僅要能即時(shí)理解上下文,還需具備跨輪對(duì)話、多模態(tài)輸入、個(gè)性化偏好等長期記憶機(jī)制

然而,目前關(guān)于AI記憶系統(tǒng)的研究尚未形成統(tǒng)一清晰的框架,特別是缺乏對(duì)記憶機(jī)制底層原子操作的系統(tǒng)化理解。

圖片

本綜述首次從操作與表示兩個(gè)維度出發(fā),系統(tǒng)構(gòu)建AI記憶的研究框架。

作者將AI中的記憶表示劃分為參數(shù)化記憶上下文記憶兩大類,并提出六種基本記憶操作:鞏固(Consolidation)、更新(Updating)、索引(Indexing)、遺忘(Forgetting)、檢索(Retrieval)與壓縮(Compression)。

這些原子操作不僅揭示了AI記憶系統(tǒng)的內(nèi)部機(jī)制,也為系統(tǒng)性能優(yōu)化和長期一致性提供理論支持。

作者進(jìn)一步將這些操作映射到四類關(guān)鍵研究主題:長期記憶(long-term memory)、長上下文建模(long-context modeling)、參數(shù)記憶修改(parametric memory modification)與多源記憶融合(multi-source memory integration)。

通過這一結(jié)構(gòu)化視角,本綜述系統(tǒng)梳理了相關(guān)的研究方向、評(píng)測數(shù)據(jù)集與工具,明確了LLMs智能體中的記憶功能協(xié)同機(jī)制,并為未來研究提供了清晰的路徑指引。

記憶分類

參數(shù)化記憶 (Parametric Memory)指的是隱含存儲(chǔ)于模型內(nèi)部參數(shù)中的知識(shí)。這些知識(shí)通過預(yù)訓(xùn)練或后訓(xùn)練過程獲得,嵌入在模型權(quán)重中,在推理階段通過前向傳播訪問。

它作為一種即時(shí)、長期且持續(xù)存在的記憶形式,使模型能夠快速、無需上下文地檢索事實(shí)性和常識(shí)性知識(shí)。

然而,這類記憶缺乏可解釋性,也難以針對(duì)新經(jīng)驗(yàn)或特定任務(wù)場景進(jìn)行選擇性更新。

上下文記憶 (Contextual Memory)是指顯式的、外部的信息,用于補(bǔ)充語言模型內(nèi)部的參數(shù)知識(shí),可進(jìn)一步劃分為兩種形態(tài):

  • 非結(jié)構(gòu)化上下文記憶一種面向多模態(tài)的顯式記憶系統(tǒng),支持跨異構(gòu)輸入的信息存儲(chǔ)與檢索,包括文本、圖像、音頻和視頻等。它能夠幫助智能體將推理過程與感知信號(hào)相結(jié)合,整合多模態(tài)上下文信息。根據(jù)時(shí)間尺度不同,非結(jié)構(gòu)化記憶可分為短期(如當(dāng)前對(duì)話輪的上下文)和長期(如跨會(huì)話的歷史記錄與個(gè)性化知識(shí))。
  • 結(jié)構(gòu)化上下文記憶指將記憶內(nèi)容組織為預(yù)定義、可解釋的格式或結(jié)構(gòu)(如知識(shí)圖譜、關(guān)系表或本體)。這類記憶具備可查詢性和符號(hào)推理能力,常作為預(yù)訓(xùn)練語言模型聯(lián)想能力的有益補(bǔ)充。結(jié)構(gòu)化記憶既可以在推理時(shí)動(dòng)態(tài)構(gòu)建以支持局部推理,也可跨會(huì)話持久保存高質(zhì)量知識(shí)。

記憶的原子操作

為了使AI系統(tǒng)中的記憶超越靜態(tài)存儲(chǔ)、實(shí)現(xiàn)動(dòng)態(tài)演化,模型必須具備一系列管理與利用記憶的基本操作能力。這些操作可劃分為兩大類功能模塊:記憶管理(Memory Management)記憶利用(Memory Utilization)

?? 記憶管理(Memory Management)

記憶管理操作控制信息的存儲(chǔ)、維護(hù)與裁剪,是確保系統(tǒng)記憶隨著時(shí)間推移合理演化的核心機(jī)制,包括以下四類操作:

  • 鞏固(Consolidation)將短期經(jīng)驗(yàn)轉(zhuǎn)化為持久性記憶,如將對(duì)話軌跡或交互事件編碼為模型參數(shù)、圖譜或知識(shí)庫。是持續(xù)學(xué)習(xí)、個(gè)性化建模和外部記憶構(gòu)建的關(guān)鍵。
  • 索引(Indexing)構(gòu)建實(shí)體、屬性等輔助索引,提升存儲(chǔ)信息的檢索效率與結(jié)構(gòu)化程度。支持神經(jīng)、符號(hào)與混合記憶的可擴(kuò)展訪問。
  • 更新(Updating)基于新知識(shí)對(duì)已有記憶進(jìn)行激活與修改,適用于參數(shù)內(nèi)存中的定位與編輯,也包括對(duì)上下文記憶的摘要、修剪與重構(gòu)。
  • 遺忘(Forgetting)有選擇地抑制或移除過時(shí)、無效甚至有害的記憶內(nèi)容。包括參數(shù)記憶中的“遺忘訓(xùn)練”機(jī)制與上下文記憶中的時(shí)間刪除或語義過濾。

?? 記憶利用(Memory Utilization)

記憶利用指模型如何在推理過程中調(diào)用和使用已存儲(chǔ)的信息,包括以下兩類操作:

  • 檢索(Retrieval)根據(jù)輸入(查詢、對(duì)話上下文或多模態(tài)內(nèi)容)識(shí)別與訪問相關(guān)記憶片段,支持跨源、跨模態(tài)甚至跨參數(shù)的記憶調(diào)用。
  • 壓縮(Compression)在上下文窗口有限的條件下保留關(guān)鍵信息、丟棄冗余內(nèi)容,以提高記憶利用效率。可在輸入前進(jìn)行(如摘要預(yù)處理),也可在檢索后進(jìn)行(如生成前壓縮或融合進(jìn)模型)。

這些操作既是記憶系統(tǒng)動(dòng)態(tài)運(yùn)行的基礎(chǔ),也引入了數(shù)據(jù)中毒、誤更新等潛在風(fēng)險(xiǎn),提示未來在記憶生命周期安全性方面的研究必要性。

記憶的關(guān)鍵主題

為了進(jìn)一步落實(shí)記憶操作與表示框架,作者探討了實(shí)際系統(tǒng)中這些操作如何協(xié)同運(yùn)行,進(jìn)而支持多樣化、動(dòng)態(tài)化的記憶使用模式。

例如,在多輪對(duì)話系統(tǒng)中,檢索增強(qiáng)生成(RAG)框架廣泛采用更新、索引、檢索和壓縮等操作,以維持跨會(huì)話記憶并提升響應(yīng)質(zhì)量 。

而另一些系統(tǒng)則將長期記憶顯式編碼為超長上下文輸入,對(duì)檢索壓縮操作尤為依賴。

基于這些實(shí)際用例,作者將AI記憶研究劃分為以下四個(gè)核心主題,分別從時(shí)間,空間,模型內(nèi)部狀態(tài),模態(tài)四個(gè)緯度體現(xiàn)出特定操作組合的模式與挑戰(zhàn):

  • 長期記憶(Long-Term Memory)跨越所有記憶類型,強(qiáng)調(diào)跨會(huì)話的記憶管理、個(gè)性化與推理支持,尤其關(guān)注時(shí)間結(jié)構(gòu)建模與多輪對(duì)話中的持久知識(shí)演化;
  • 長上下文記憶(Long-Context Memory)主要關(guān)聯(lián)非結(jié)構(gòu)化上下文記憶,關(guān)注參數(shù)效率(如KV緩存裁剪)與上下文利用效率(如長上下文壓縮);
  • 參數(shù)化記憶修改(Parametric Memory Modification)特指對(duì)模型內(nèi)部知識(shí)的動(dòng)態(tài)重寫,涵蓋模型編輯、遺忘機(jī)制與持續(xù)學(xué)習(xí)策略;
  • 多源記憶整合(Multi-Source Memory)強(qiáng)調(diào)對(duì)異構(gòu)文本來源和多模態(tài)輸入(如視覺、音頻)的統(tǒng)一建模,以提升復(fù)雜場景下的穩(wěn)健性與語義理解。

為系統(tǒng)梳理AI記憶研究的演化趨勢,作者基于統(tǒng)一的分類框架構(gòu)建了一套大規(guī)模文獻(xiàn)評(píng)估流程,覆蓋2022至2025年間 NeurIPS、ICLR、ICML、ACL、EMNLP 和 NAACL 的三萬余篇論文。

通過GPT驅(qū)動(dòng)的主題相關(guān)性打分系統(tǒng),初步篩選出近四千篇潛在相關(guān)研究,并結(jié)合人工審核進(jìn)一步精煉文獻(xiàn)集。

為衡量文獻(xiàn)影響力,作者提出了相對(duì)引用指數(shù)(RCI, Relative Citation Index),借鑒醫(yī)學(xué)領(lǐng)域的 RCR 思路,對(duì)引用量進(jìn)行時(shí)間歸一化,衡量論文在同期中的相對(duì)被引水平,從而避免“早發(fā)表多引用”帶來的偏差。

RCI 有助于識(shí)別階段性重要成果,并支撐代表性研究與發(fā)展趨勢的深入分析。這一體系不僅揭示了當(dāng)前記憶研究的重點(diǎn)分布,也為構(gòu)建更強(qiáng)大、可控的記憶增強(qiáng)型系統(tǒng)提供了系統(tǒng)性理論支持與路徑指引。

作者不僅展示了這些主題與記憶類型之間的對(duì)應(yīng)關(guān)系,也進(jìn)一步總結(jié)了每類研究中典型的記憶操作模式。

作者同時(shí)在文中附錄總結(jié)了各類主題研究的代表方法、基準(zhǔn)數(shù)據(jù)與評(píng)估指標(biāo),涵蓋操作支持范圍、實(shí)驗(yàn)評(píng)估標(biāo)準(zhǔn)與實(shí)際應(yīng)用場景,為研究者提供完整的參考框架。

圖片

長期記憶

長期記憶(Long-term Memory)是支撐AI系統(tǒng)進(jìn)行跨輪推理、個(gè)性化生成與動(dòng)態(tài)決策的關(guān)鍵能力。

相比于短期上下文窗口,長期記憶能夠跨越會(huì)話邊界,持續(xù)積累與調(diào)取歷史交互、環(huán)境觀察和用戶偏好等信息,從而構(gòu)建更具一致性和適應(yīng)性的智能行為模式。

本節(jié)圍繞長期記憶的運(yùn)行機(jī)制,系統(tǒng)梳理了其關(guān)鍵操作與利用路徑,覆蓋“記憶管理—壓縮—生成”的完整流程。

在記憶管理層面,作者總結(jié)了四類基礎(chǔ)操作。

鞏固(Consolidation)用于將短期交互轉(zhuǎn)化為長期存儲(chǔ)內(nèi)容,支撐記憶的可持續(xù)使用;索引(Indexing)構(gòu)建結(jié)構(gòu)化、可查詢的訪問路徑以提升檢索效率;更新(Updating)通過融合新知與重構(gòu)結(jié)構(gòu)實(shí)現(xiàn)記憶內(nèi)容的迭代演化;遺忘(Forgetting)則以內(nèi)容剔除或抽象壓縮的方式清除冗余、無效或敏感信息,保障系統(tǒng)穩(wěn)定性和資源可控性。

當(dāng)前主流系統(tǒng)已開始通過圖譜建模、時(shí)間標(biāo)注與用戶反饋機(jī)制等方式模擬上述操作,以支持更為動(dòng)態(tài)和人類類比的記憶演化過程。

在記憶利用層面,作者提出“檢索–壓縮–生成”三階段聯(lián)動(dòng)機(jī)制。

其中,記憶檢索(Retrieval)旨在從長期存儲(chǔ)中篩選與當(dāng)前輸入最相關(guān)的信息,可基于查詢改寫、結(jié)構(gòu)匹配或事件時(shí)間線進(jìn)行匹配優(yōu)化。

緊接其后的記憶壓縮(Compression)作為連接檢索與生成的橋梁,不僅承擔(dān)內(nèi)容篩選與信息重構(gòu)任務(wù),更統(tǒng)攝了兩個(gè)關(guān)鍵子過程:

記憶集成(Integration):即將多個(gè)檢索片段整合為統(tǒng)一上下文表征,以供模型高效解碼;記憶驅(qū)動(dòng)生成(Grounded Generation):即在推理過程中借助已整合的記憶引導(dǎo)語言生成,確保輸出與歷史上下文保持一致。

無論是靜態(tài)拼接、多輪追蹤,還是跨模態(tài)融合,這一系列操作都可歸入壓縮機(jī)制下的結(jié)構(gòu)優(yōu)化與信息篩選框架中。

盡管檢索性能在多個(gè)任務(wù)中已趨近飽和,但壓縮過程仍是系統(tǒng)性能的主要瓶頸,尤其在多輪對(duì)話、任務(wù)遷移和一致性建模等方面面臨挑戰(zhàn)。

圖片

個(gè)性化是長期記憶的重要應(yīng)用方向。作者將現(xiàn)有方法歸為兩大類:

一類是模型級(jí)適配(Model-level Adaptation),通過輕量調(diào)參或模塊化組件將用戶偏好編碼進(jìn)模型參數(shù)中;

另一類是外部記憶增強(qiáng)(External Memory Augmentation),通過調(diào)用結(jié)構(gòu)化知識(shí)圖譜、用戶畫像或非結(jié)構(gòu)化歷史對(duì)話,在推理時(shí)動(dòng)態(tài)集成用戶相關(guān)信息。

兩類方法各具優(yōu)勢,前者強(qiáng)調(diào)高效部署與任務(wù)泛化,后者突出可解釋性與個(gè)體一致性,正逐步走向融合。

在評(píng)估層面,當(dāng)前主流基準(zhǔn)仍多聚焦于檢索準(zhǔn)確率或靜態(tài)問答性能,對(duì)動(dòng)態(tài)記憶操作(如更新、遺忘、鞏固)及其時(shí)間適應(yīng)能力的評(píng)估仍顯不足。

為此,作者提出了相對(duì)引用指數(shù)(RCI)這一新型指標(biāo),對(duì)2022至2025年間的高相關(guān)研究進(jìn)行時(shí)間歸一化的影響力分析。

通過結(jié)合RCI得分與研究主題,作者進(jìn)一步揭示了不同記憶類型、任務(wù)范式與操作機(jī)制在AI長期記憶研究中的關(guān)注分布和演化趨勢。

長上下文記憶

長上下文機(jī)制是大語言模型中記憶系統(tǒng)的重要組成部分,尤其在缺乏長期外部存儲(chǔ)的場景下,承擔(dān)著臨時(shí)信息保持與動(dòng)態(tài)推理的記憶功能。

它通過在超長輸入序列中存儲(chǔ)與調(diào)取歷史交互、外部文檔或用戶信息,為AI系統(tǒng)提供跨段、跨輪的記憶支撐。

盡管當(dāng)前模型架構(gòu)和訓(xùn)練技術(shù)已使得輸入長度延伸至百萬級(jí)tokens,如何有效管理這些上下文并確保信息可用性,仍是關(guān)鍵挑戰(zhàn)

這些挑戰(zhàn)主要體現(xiàn)在兩個(gè)方面:

一是參數(shù)記憶效率(Parametric Efficiency),即如何優(yōu)化KV緩存以支持高效長文本處理;二是上下文記憶利用(Contextual Utilization),即如何在有限窗口中選擇、壓縮并集成多源信息,發(fā)揮“上下文記憶”的推理作用。

圖片

圖片

具體來說,KV緩存優(yōu)化涉及裁剪、壓縮與檢索策略,力圖在最小化計(jì)算開銷的同時(shí)保留必要信息。

而上下文利用則涵蓋檢索、壓縮、集成與生成等核心記憶操作,廣泛應(yīng)用于多輪對(duì)話、長文閱讀與多模態(tài)推理任務(wù)。

作者指出,這些上下文機(jī)制本質(zhì)上是構(gòu)建“即時(shí)記憶”與“短期推理緩存”的技術(shù)路徑,是當(dāng)前AI記憶系統(tǒng)中不可或缺的一環(huán)。

結(jié)合RCI引用指數(shù)的分析,作者發(fā)現(xiàn)KV緩存壓縮優(yōu)化在ML社區(qū)尤為活躍,而上下文壓縮與檢索則是NLP領(lǐng)域的研究重點(diǎn)。

盡管相關(guān)工作已有初步成果,但在面對(duì)多源、跨模態(tài)、任務(wù)特定的復(fù)雜記憶場景時(shí),長上下文記憶的組織與調(diào)用方式仍顯不足,值得作為未來AI記憶系統(tǒng)構(gòu)建的重要方向加以深入探索。

參數(shù)記憶修改

參數(shù)化記憶作為大語言模型中隱式編碼的知識(shí)載體,是實(shí)現(xiàn)長期知識(shí)保持與快速調(diào)用的核心形式。

隨著大模型逐步走向開放世界環(huán)境與個(gè)性化應(yīng)用場景,如何在不重新訓(xùn)練模型的前提下,動(dòng)態(tài)調(diào)控內(nèi)部知識(shí)表征成為關(guān)鍵挑戰(zhàn)。

本節(jié)從“編輯(Editing)、遺忘(Unlearning)、持續(xù)學(xué)習(xí)(Continual Learning)”三類操作出發(fā),系統(tǒng)梳理了近期關(guān)于參數(shù)化記憶修改的研究進(jìn)展。

圖片

圖片

編輯類方法旨在對(duì)模型中的特定記憶進(jìn)行精準(zhǔn)定位與修改,主流策略包括定位再編輯、元學(xué)習(xí)驅(qū)動(dòng)、提示引導(dǎo)與外參模塊等,應(yīng)用廣泛于實(shí)體更正與知識(shí)糾錯(cuò)任務(wù);

遺忘方法則聚焦于選擇性地移除敏感或錯(cuò)誤知識(shí),實(shí)現(xiàn)記憶擦除的同時(shí)保留其他無關(guān)內(nèi)容,方法涵蓋額外模塊插入、目標(biāo)函數(shù)設(shè)計(jì)與輸入操控等路徑;

持續(xù)學(xué)習(xí)方法通過正則化或回放機(jī)制,實(shí)現(xiàn)新知識(shí)的漸進(jìn)融合與災(zāi)難遺忘的緩解,適用于動(dòng)態(tài)任務(wù)和多階段訓(xùn)練設(shè)置。

作者進(jìn)一步在三個(gè)方面進(jìn)行了深入討論:

  • 性能表現(xiàn)分析:不同方法在CounterFact、ZsRE與ToFU基準(zhǔn)上展示了不同的權(quán)衡格局,提示“特異性建模”與“持續(xù)性挑戰(zhàn)”仍是后續(xù)研究重點(diǎn);
  • 可擴(kuò)展性評(píng)估:當(dāng)前大多數(shù)非提示法仍受限于模型規(guī)模與計(jì)算資源,在大模型上的大規(guī)模修改能力亟待提升;
  • 影響力趨勢(RCI分析):編輯方法關(guān)注度高、落地豐富,而遺忘方法雖數(shù)量較少,但在“訓(xùn)練目標(biāo)”和“附加參數(shù)”等方向展現(xiàn)出良好影響潛力。

綜上,作者強(qiáng)調(diào):

參數(shù)記憶不僅是模型知識(shí)調(diào)控的關(guān)鍵接口,也是未來智能體學(xué)習(xí)能力延展的基礎(chǔ)模塊,值得圍繞“表達(dá)粒度、多輪積累、語義泛化”等方向持續(xù)深入探索。

多源記憶

源記是構(gòu)建現(xiàn)實(shí)世界智能體的核心機(jī)制。

現(xiàn)代AI系統(tǒng)需融合內(nèi)在的參數(shù)化知識(shí)與多樣化的外部記憶,包括結(jié)構(gòu)化數(shù)據(jù)(如知識(shí)圖譜、數(shù)據(jù)庫)與非結(jié)構(gòu)化多模態(tài)信息(如文本、圖像、語音、視頻),以支撐復(fù)雜任務(wù)中的推理一致性、響應(yīng)可信度與信息可追溯性。

本節(jié)圍繞兩大核心挑戰(zhàn)——跨文本整合與多模態(tài)協(xié)調(diào),系統(tǒng)梳理了當(dāng)前主流方法與研究趨勢。

跨文本整合方面,研究主要聚焦于兩類任務(wù):

其一是多源融合,通過符號(hào)–神經(jīng)混合推理、結(jié)構(gòu)與非結(jié)構(gòu)協(xié)同召回以及鏈?zhǔn)酵评頇C(jī)制,推動(dòng)參數(shù)化記憶與外部知識(shí)之間的深度對(duì)接;其二是沖突處理,強(qiáng)調(diào)在整合異構(gòu)信息時(shí)進(jìn)行顯式的來源歸因與一致性驗(yàn)證,避免事實(shí)漂移與語義沖突。代表性工作涵蓋上下文沖突檢測、知識(shí)可信度調(diào)控與沖突消解等策略。

圖片

圖片

多模態(tài)協(xié)調(diào)方面,研究路徑沿三大方向逐步拓展:

態(tài)融合策略從聯(lián)合嵌入與提示級(jí)融合發(fā)展到基于圖結(jié)構(gòu)的可控對(duì)齊;模態(tài)檢索從靜態(tài)相似度匹配演進(jìn)為時(shí)間感知與意圖驅(qū)動(dòng)的動(dòng)態(tài)召回;時(shí)間建模則成為支撐多輪交互與任務(wù)延續(xù)的關(guān)鍵,涌現(xiàn)出如 WorldMem 與 E-Agent 等具備自維護(hù)能力的系統(tǒng),能夠?qū)崿F(xiàn)多模態(tài)記憶的持續(xù)壓縮、索引與更新,從而完成從“被動(dòng)調(diào)用”向“主動(dòng)演化”的范式轉(zhuǎn)變。

RCI 統(tǒng)計(jì)顯示,跨文本推理仍是當(dāng)前多源記憶研究的主要陣地,尤其在結(jié)構(gòu)化與非結(jié)構(gòu)化知識(shí)整合方面方法體系日益成熟;

與此同時(shí),多模態(tài)協(xié)調(diào)研究也快速興起,在融合、檢索與時(shí)序建模方向表現(xiàn)出顯著影響力。

盡管如此,當(dāng)前系統(tǒng)在沖突檢測與跨源一致性建模方面仍存顯著空缺。

未來的研究應(yīng)致力于構(gòu)建具備沖突感知、動(dòng)態(tài)演化與時(shí)間一致性控制能力的統(tǒng)一多源記憶體系,以支撐真實(shí)環(huán)境中長期、多模態(tài)、多任務(wù)的智能交互。

圖片

記憶的實(shí)際應(yīng)用

隨著AI系統(tǒng)從靜態(tài)對(duì)話走向動(dòng)態(tài)交互、長期適應(yīng)與多模態(tài)融合,記憶集成正成為支撐各類現(xiàn)實(shí)應(yīng)用的核心機(jī)制。

無論是編碼通用知識(shí)的參數(shù)化模型(如編程助手、醫(yī)學(xué)/法律問答)、追蹤用戶偏好的上下文系統(tǒng)(如健康陪伴與個(gè)性化推薦)、還是執(zhí)行復(fù)雜任務(wù)的結(jié)構(gòu)化智能體(如會(huì)議助理、代碼伴侶)——都依賴于對(duì)結(jié)構(gòu)化、非結(jié)構(gòu)化與多模態(tài)記憶的統(tǒng)一調(diào)用。

代表性產(chǎn)品如ChatGPT、GitHub Copilot、Replika、Amazon推薦系統(tǒng)與騰訊 ima.copilot,體現(xiàn)了記憶驅(qū)動(dòng)AI從“任務(wù)工具”向“長期伙伴”的范式轉(zhuǎn)變。

在工具層面,記憶增強(qiáng)系統(tǒng)逐步構(gòu)建出從底層組件(向量數(shù)據(jù)庫、檢索器、LLM)到操作框架(LangChain、LlamaIndex、Graphiti)再到完整服務(wù)平臺(tái)(Mem0、Zep、Memary)的生態(tài)體系。

它們支撐長期上下文管理、個(gè)體狀態(tài)建模、知識(shí)保持與行為調(diào)節(jié)等關(guān)鍵能力,并正推動(dòng)“記憶即服務(wù)”的工程化實(shí)現(xiàn)。

作者在附錄中詳盡的分析了記憶相關(guān)的組件,框架,服務(wù)以及產(chǎn)品。

人類 vs. AI:記憶系統(tǒng)對(duì)照

作者進(jìn)一步詳細(xì)分析了人類與人工智能系統(tǒng)的記憶的相似點(diǎn)和不同點(diǎn)。

具體來說,二者在機(jī)制雖然在功能上高度趨同——都支持學(xué)習(xí)、推理與決策,并在多時(shí)間尺度上組織信息——但其底層實(shí)現(xiàn)卻體現(xiàn)出本質(zhì)本別。

但在人類大腦中,記憶由神經(jīng)網(wǎng)絡(luò)隱式編碼,依賴情緒、語境和聯(lián)想觸發(fā),更新常常間接且?guī)в衅`。

而在AI系統(tǒng)中,記憶可以是顯式存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)或模型參數(shù),通過檢索、重寫或壓縮策略高效更新,具有可追蹤與可編程性。

兩者在以下關(guān)鍵維度上差異顯著:

  • 存儲(chǔ)結(jié)構(gòu)生物分布式 vs. 模塊化/參數(shù)化
  • 鞏固機(jī)制被動(dòng)慢速整合(睡眠等生理機(jī)制)vs. 顯式快速寫入(策略驅(qū)動(dòng)、可選擇)
  • 索引方式稀疏聯(lián)想激活(海馬體驅(qū)動(dòng))vs. 嵌入索引或鍵值查找
  • 更新方式重構(gòu)式再鞏固 vs. 精準(zhǔn)定位與編輯
  • 遺忘機(jī)制自然衰減 vs. 策略刪除與可控擦除
  • 檢索機(jī)制聯(lián)想觸發(fā) vs. 查詢驅(qū)動(dòng)
  • 可壓縮性隱式提煉 vs. 顯式裁剪與量化
  • 所有權(quán)屬性私有與不可共享 vs. 可復(fù)制與可廣播
  • 容量邊界生物限制 vs. 受存儲(chǔ)與計(jì)算資源約束,接近于無限擴(kuò)展

AI記憶系統(tǒng)的未來藍(lán)圖:從操作瓶頸到認(rèn)知躍遷

要構(gòu)建真正具備長期適應(yīng)、跨模態(tài)理解與個(gè)性化推理能力的AI系統(tǒng),記憶機(jī)制必須邁向新一輪突破。

本研究基于RCI分析與最新趨勢,系統(tǒng)梳理了記憶增強(qiáng)AI的未來關(guān)鍵方向:

在該文提及的主題層面,當(dāng)前AI系統(tǒng)仍面臨一些關(guān)鍵挑戰(zhàn):長期記憶缺乏統(tǒng)一評(píng)估,導(dǎo)致檢索內(nèi)容與生成輸出脫節(jié);長上下文建模難以兼顧效率與表達(dá)能力;參數(shù)化記憶的修改與擦除機(jī)制缺乏控制力與可擴(kuò)展性;多源記憶融合中普遍存在沖突、不一致與壓縮瓶頸。

在前沿視角上,研究者正積極探索更具人類認(rèn)知特征的機(jī)制:如何構(gòu)建支持時(shí)間感知的時(shí)空記憶?如何實(shí)現(xiàn)從模型參數(shù)中直接“檢索知識(shí)”?如何融合結(jié)構(gòu)化、非結(jié)構(gòu)化與向量記憶實(shí)現(xiàn)持續(xù)學(xué)習(xí)?作者也從類腦架構(gòu)中獲得啟示——雙通道鞏固、層級(jí)抽象、有限容量與再激活機(jī)制為AI提供了新的記憶組織范式。

此外,統(tǒng)一表示體系、群體記憶架構(gòu)與安全可控的忘憶機(jī)制也日益重要。AI系統(tǒng)正從“有記憶”走向“會(huì)使用記憶”,而未來的智能體必須具備自我維護(hù)、可解釋、可協(xié)同的全鏈條記憶能力。

論文地址:https://arxiv.org/abs/2505.00675

Github地址:https://github.com/Elvin-Yiming-Du/Survey_Memory_in_AI

責(zé)任編輯:張燕妮 來源: 量子位
相關(guān)推薦

2024-07-12 14:53:42

2025-06-09 08:56:00

2024-10-28 14:05:00

2025-02-13 09:34:13

2024-04-01 06:00:00

LIDAPython模塊

2024-06-12 08:30:34

2023-06-20 13:44:49

清華推理

2024-09-06 14:20:00

AI訓(xùn)練

2025-04-07 09:31:00

LLMAI模型

2024-03-12 10:36:17

AI大模型人工智能

2024-11-25 07:10:00

NumPro視頻大模型AI

2025-02-26 14:15:00

模型智能體AI

2024-01-23 10:35:09

ChatGPT人工智能

2024-07-12 14:07:04

2025-06-16 06:00:00

2024-11-01 10:16:09

API開源項(xiàng)目

2023-10-10 13:57:35

2023-07-29 16:01:15

智能體模型任務(wù)

2025-06-04 04:21:00

AIChatGPT模型
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 一区二区三区在线播放 | 欧美成人精品 | 黄色免费在线观看网址 | 色婷婷综合久久久久中文一区二区 | 欧美成人精品一区 | 在线播放国产视频 | 男女一区二区三区 | 黄色精品视频网站 | 91在线免费视频 | 日日av | 欧美视频xxx| 嫩呦国产一区二区三区av | 日韩三极 | 成人黄色电影免费 | 国产成人精品午夜视频免费 | 亚洲黄色国产 | 久久人| av天天干 | 午夜影视 | 暖暖成人免费视频 | 国产成人99久久亚洲综合精品 | www.亚洲一区二区三区 | 欧美中文一区 | 在线成人精品视频 | 午夜天堂精品久久久久 | 国产剧情一区 | 91亚洲国产成人久久精品网站 | 精品国产31久久久久久 | 激情五月婷婷综合 | 精品国产区 | 国产高清免费视频 | 精品视频一区在线 | 精品国产欧美 | 成人网av| 在线视频91 | 欧美99| 国产精品一区二区欧美黑人喷潮水 | 91n成人| 久久91av | 亚洲综合色站 | 超碰91在线 |