圖解LLM-Agent大模型智能體
LLM-Agent 大模型智能體熱度空前，但智能體是什么、為什么、怎么辦，行業還沒有統一認知，典型的小學語文課本里“小馬過河”的現實版。
是什么
一、OpenAI 工程師Lilian Weng的定義 2023.6.23
規劃
子目標和分解：將大型任務分解為更小的、可管理的子目標。
反思和改進：對過去的行動進行自我批評和自我反省，從錯誤中學習。
記憶
短期記憶：上下文學習都是利用模型的短期記憶來學習。
長期記憶：長期保留和回憶信息的能力。
工具使用
調用外部API來獲取模型權重中缺少的額外信息。
二、復旦大學學者的調研總結 2023.9.19
大腦
Brain作為記憶和決策中心。
感知
Perception解釋外部刺激，從文本到更多模態的形式。
行動
Action執行來自“大腦”的決定。
三、NVIDIA 工程師Tanay Varshney的看法 2023.11.30
智能體核心
核心邏輯和行為特征的中央協調模塊，或“關鍵決策模塊”，包括
目標：包含總體目標和目的。
工具手冊：可訪問的所有工具的“用戶手冊”。
規劃指南：不同規劃模塊的使用細節。
動態記憶：推斷時動態填充與用戶過去對話中最相關的記憶項。
角色(可選)：最終響應中注入典型的特質。
記憶
短期記憶：回答用戶的單個問題時所經歷的行動和想法的賬本。
長期記憶：用戶和智能體之間發生的事件的行動和想法的賬本。
工具
用來執行任務的定義良好的可執行工作流。
規劃
任務和問題分解
反思或批評
LLM大模型之前，Agent就有不少研究，LLM 讓這一構想有了更現實的可能。以上是今年影響面較大的三篇內容，其中有明顯的時間線，反映了行業認知的持續深化。NVIDIA 工程師的版本更簡潔明了。
為什么
一、幻覺，大模型天生可能一本正經的胡說。哈工大與華為學者的調研 2023.11.9
數據引起
缺陷數據源（錯誤信息與偏見，知識邊界）
數據利用不足（知識捷徑，知識召回失敗）
訓練所致
預訓練帶來（架構缺陷，次優訓練目標）
對齊產生（能力錯位，信念錯位）
推理引入
缺陷的解碼策略（內在采樣隨機性）
不完美解碼表征（上下文注意力不足，Softmax瓶頸）
二、前后左右不一的自一致性 self-consistency
單視角橫向自一致性
單視角縱向自一致性
同上下文，單條線，先后同輸入的輸出預期一致
多視角縱橫一致性
不同上下文，多條線，先后同輸入的輸出，特定情況下預期一致
三、記憶的短期性，上下文窗口限制
沒有超出上下文窗口的記憶
只能“記住”給定的有限上下文中的內容，沒有其他獨立的記憶存儲。
上下文窗口作為LLM的瞬時記憶
完全依賴于上下文窗口來獲取任何之前的信息。
怎么辦
一、從LLM外部解決問題的思路，典型做法，檢索輔助生成RAG
RAG
模型利用從文檔中檢索到的相關信息輔助生成過程。
附加知識庫
為模型提供額外的信息輸入，適用于知識密集型任務。
兩個關鍵階段
利用編碼模型基于問題檢索相關文檔，如BM25、DPR、ColBERT等方法。
使用檢索到的上下文作為條件生成內容。
RAG局限
不適用于教會模型理解廣泛的領域或學習新的語言、格式或風格。
微調技術?
通過深入學習內化知識，適合需要復制特定的結構、風格或格式。
二、解鈴還須系鈴人，從LLM內部系統性解決問題的思路
解鈴還須系鈴人，有針對性的為幻覺來源對癥下藥，將是今后管控幻覺的關鍵措施。這里沒用“消除”一詞，從上文認知框架筆者推斷，可將幻覺降低到“不可見”范圍，但很難消除為零。
針對語料中的偏差與錯誤，語料的全面數據治理十分必要，既要豐富詳實，又要不偏不倚；加大算力提高模型精度，增強嵌入及后續訓練的信息區分度；
改進Transformer-Attention歸一化算法，優化降低自由能損失，最大程度降低信息折損；自回歸預測將受益于歸一化優化，從而提升內部概率先驗精確性；
構建重整化流的數學公式，推導出其流動的方向，并計算可能的不動點，從而借助新語料，對不動點做微擾，促進其進入更有序的相空間，實現可控的可預測的涌現；
RLHF訓練結合提示工程探索不同上下文有效提示語，改進decoder模型，促進大模型內部采樣使用Wasserstein距離作為概率分布近似的度量；
探測研究內部世界模型結構，進而可以控制模型溫度，指導動態Bayes推理更貼切的采樣概率分布，進一步亦可通過檢索增強生成（RAG）效果，提高自一致自評估能力。
三、內外兼修，多種概念架構層出不窮
伯克利學者增強上下文窗口 Context Window 的思路
增加一個分層的外部上下文和相應管理功能函數。
LLM處理器以主上下文為輸入，并輸出由解析器解釋的文本：輸出或函數調用，函數調用在主上下文和外部上下文之間移動數據。
普林斯頓學者的工作也比較有啟發性
定義了一組交互模塊和過程。
決策程序執行智能體的源代碼。
此源代碼由與 LLM (提示模板和解析器)、內部存儲器(檢索和學習)和外部環境(Grounding) 交互的過程組成。
寫在最后
邏輯上人腦包括兩個重要系統：
系統1 負責刺激響應，系統2負責深度思考。
大模型LLM功能目前相當于系統1，智能體Agent類似系統2。
兩者相輔相成，協同一致，處理復雜問題兩者都不可或缺。
筆者傾向于從LLM內部解決現有問題的思路，三個關鍵點：
·Self-awareness，非自我意識，而是加強LLM對學到的范疇的結構和關系的理解；
·范疇內和跨范疇采樣改進，依據更好的“范疇的結構和關系的理解”優化采樣算法；
·構建內部工作空間，管理短中長期多層次記憶與范疇交互，推理規劃與使用工具；
參考文獻
1.LLM Powered Autonomous Agents https://lilianweng.github.io/posts/2023-06-23-agent/?
2.The Rise and Potential of Large Language Model Based Agents: A Survey https://arxiv.org/pdf/2309.07864.pdf?
3.Introduction to LLM Agents https://developer.nvidia.com/blog/introduction-to-llm-agents/?
4.A Survey on Hallucination in Large Language Models:Principles, Taxonomy, Challenges, and Open Questions https://arxiv.org/pdf/2311.05232.pdf?
5.ENHANCING LARGE LANGUAGE MODELS IN CODING THROUGH MULTI-PERSPECTIVE SELF-CONSISTENCY https://openreview.net/pdf?id=hUs8YHAUEr?
6.Survey of Hallucination in Natural Language Generation https://arxiv.org/pdf/2202.03629.pdf?
7.Retrieval-Augmented Generation for Large Language Models: A Survey https://arxiv.org/pdf/2312.10997.pdf?
8.Cognitive Architectures for Language Agents https://arxiv.org/pdf/2309.02427.pdf?
9.https://promptengineering.org/statistical-or-sentient-understanding-the-llm-mind/?
10.MEMGPT: TOWARDS LLMS AS OPERATING SYSTEMS ?https://arxiv.org/pdf/2310.08560.pdf
