Agentic AI在企業流程中的生命周期 精華
1. 引言
關于ChatGPT(或者更廣義的Aenerative AI)的討論,如今已經演變成了Agentic AI。ChatGPT主要是個能生成文本回復的chatbot,而AI代理則能自主執行復雜任務,比如完成一筆銷售、規劃一次旅行、預訂機票、雇傭承包商干家務活,甚至點個披薩。下面的圖表展示了Agentic AI系統的演變。
比爾·蓋茨最近設想了一個未來:我們將擁有一個能處理自然語言、完成多種任務的AI代理。以旅行規劃為例,傳統上你得自己訂酒店、機票、餐廳等。但AI代理能根據你的喜好,替你搞定這些預訂和購買。
簡單來說,AI代理之所以火爆,是因為它們理論上可以應用于任何目前靠人工執行的企業流程。
所以,我們基本上可以把從客戶服務臺到工業流程(比如HVAC優化),甚至用代理來構建底層的software、data和ML engineering pipelines,統統“代理化”。為了實現這種agentification(代理化),我們需要一門全新的綜合學科,覆蓋agentic AI的整個生命周期,從:
? 捕獲agentic用例需求
? 到設計代理(一個好的代理層級結構長啥樣?適用的agentic技能和工具又有哪些?)
? 到在agentic平臺上實現安全、可擴展的部署
? 再到這些代理的治理和維護
在agentification過程中,有幾點原則要牢記:
? 人們往往傾向于將手動流程一對一映射到agentic流程上,這其實效率不高。設計者得記住,代理不受限于HR流程之類的東西 :) 所以軟件代理能干不同的事,而且干的方式也跟人類不一樣。
? 但與此同時,就像人類在安全鏈條中是薄弱環節一樣,一個代理也可能搞砸整個執行流程。所以不能有例外,也不知道要是代理“叛變”了該怪誰、罰誰、開除誰。因此,建議對所有代理都以最高標準設計,配備logging、observability和responsible AI guardrails。
接下來,我們將深入探討agentification流程。第2節會介紹agentic生命周期及其不同階段。第3節會概述支持這些生命周期階段的agentic AI平臺的參考架構。第4節會展示兩個案例研究,分別應用agentification來運行客戶服務臺(4.1節)和進行data platform management(4.2節,包括data cataloging和data engineering pipelines)。
2. Agentic AI生命周期管理
構建和運行AI代理的典型階段如圖2所示。
首先,得定義用例:包括明確問題陳述、理解業務背景、data requirements和availability,以及為agentic AI解決方案設定清晰的目標,量化return-on-investment (RoI)。
其次,我們需要一個reasoning models / large language models (LLMs)、代理和工具的市場。現成的企業工具整合和動態定義代理在實踐中效果不太好 :)
比如,Agent2Agent (A2A)協議提出了Agent Card的概念(一個JSON文檔),就像代理的數字“名片”。它包含以下關鍵信息:
?Identity:名稱、描述、提供者信息。
?Service Endpoint:A2A服務的訪問URL。
?A2A Capabilities:支持的協議功能,比如streaming或pushNotifications。
?Authentication:與代理交互所需的認證方式(比如“Bearer”、“OAuth2”)。
?Skills:代理能執行的具體任務或功能列表(AgentSkill對象),包括id、名稱、描述、inputModes、outputModes和示例。
客戶端代理可以通過解析Agent Card來發現遠程代理,判斷是否適合某個任務,如何組織技能請求,以及如何安全通信。
類似地,Model Context Protocol (MCP)通過mcp:// URIs提供動態工具發現機制,代理可以解析并獲取工具能力、需求和交互方法的元數據信息。
A2A和MCP都基于文本/自然語言描述的代理和工具。在我之前的一篇論文中,我提到這種方式可能不夠,需要更正式的capabilities/constraints-based discovery model來實現精準、自動化的工具和代理發現。
第三步,設計agentic logic(實現目標的計劃)。這里得區分deterministic和autonomous代理,它們的設計和執行方式差別很大。
對于deterministic代理,主要是靜態定義一個orchestration schema,預先確定代理和工具。而autonomous代理只需將用例目標作為prompt給到LLM/reasoning model,planner會動態制定執行計劃,并根據memory中的觀察動態調整計劃。
第四步,優化代理的部署用于inferencing。由于generative AI和LLMs的體量巨大,之前大家很關注優化/quantizing LLMs到small language models (SLMs)。但鑒于目前代理多聚焦于企業工作流,這塊似乎被暫時擱置了。
我相信,一旦更多代理投入生產,cost optimization和power efficiency會重新成為焦點。
所以這一階段得主動思考優化agentic部署,甚至讓它們能跑在edge devices上。更多細節可以參考我之前的文章《Agentic AI Inference Sizing》。
最后,討論governance layer。說實話,沒有這一層,任何代理都不可能在企業中投入生產,也不應該被允許這樣做。比如,JP Morgan的CISO在一封廣為流傳的信中就強調需要安全、彈性的agentic架構。
Guardrails也在agentic AI生態中成為一級公民,比如OpenAI的Agent SDK發布。總之,end-to-end observability不僅對代理卡殼的場景恢復至關重要,還得有rollback策略應對代理偏離劇本的情況。
簡單來說,關鍵點是:在生產環境中構建可靠、可信的代理,遠不止寫幾行代碼那么簡單 -:)
3. Agentic AI參考架構
圖3展示了支持前述生命周期階段的agentic AI平臺的關鍵組件:
? 代理(和工具)marketplace
? Planner(推理層)
? Personalization layer
? Orchestration layer
? Observability layer(包含logging、checkpointing等)
? Integration layer(與企業系統整合)
? Shared memory layer(長期和短期記憶)
給定一個用戶任務,我們會prompt一個LLM進行task decomposition——這跟generative AI有重疊。但這也意味著,當前agentic AI系統受限于LLMs的reasoning能力。比如,GPT4對以下prompt的分解如圖4所示:
生成一個定制的email campaign,實現1個月內100萬美元的銷售。適用產品及其performance metrics在[url]中。連接到CRM系統[integration]獲取客戶姓名、郵箱和demographic details。
分解為:(分析產品)—(識別目標受眾)—(創建定制email campaign)。
LLM會監控執行/環境,必要時自主調整。在這個例子中,代理發現無法實現銷售目標,自主增加了任務:(尋找替代產品)—(利用客戶數據個性化郵件)—(進行A/B testing)。
這就引出了personalization layer的需求。類似于fine-tuning LLMs到特定領域的SLMs,我們認為,針對企業特定context(適用用戶persona和用例)對通用AI代理進行customization/fine-tuning,才能推動其企業采用。
圖5展示了基于user persona fine-tuning AI代理的參考架構。更多細節見我之前的文章《Personalizing UX for Agentic AI》。
鑒于需要orchestrate多個代理,integration layer得支持不同的代理交互模式,比如agent-to-agent API、代理API為人類提供輸出、人類觸發AI代理、AI代理與人類的交互loop。這些模式需由底層的AgentOps平臺支持。
值得一提的是,大多數用例都需要與企業系統(比如這里的CRM)整合。這可以通過MCP動態連接工具到企業數據所在系統來實現。
考慮到這類復雜任務的長期運行特性,memory management對agentic AI系統至關重要。初始email campaign啟動后,代理需監控1個月。這涉及任務間context sharing和長期執行context的維護。
標準做法是將代理信息的embedding表示存儲到vector store數據庫,支持maximum inner product search (MIPS)。為快速檢索,使用approximate nearest neighbors (ANN)算法,返回近似top k-nearest neighbors,犧牲一點準確性換取巨大速度提升。
圖6展示了agentic AI系統的全面memory management,包括短期和長期記憶模塊。更多細節見我之前的文章《Long-term Memory for Agentic AI》。
4. Agentification案例研究
4.1 客戶服務臺
本節展示如何用AI代理重新設計典型的客戶服務臺(見圖7),通過更高效、個性化的服務為終端用戶帶來業務價值。
在今天的contact center,knowledge base (KB) article/standard operating procedure (SOP)定義了人類代理執行的系統化工作流程,基本上是一套預定義的、解決常見客戶問題的逐步指令。
圖8展示了第3節中的agentic AI平臺參考架構,適配于執行客戶服務臺特定任務。用戶和數據交互步驟都可以用augmented LLMs(結合scripts、APIs和UI/UX)自動化。
LLMs可以生成用戶問題、解釋用戶輸入、提取相關信息,并生成狀態消息和確認。APIs可用于檢索結構化和非結構化數據,reasoning LLM則利用數據決定下一步。
KB article/SOP可視為directed acyclic graph (DAG),每個節點代表一個步驟,邊代表可能的分支(結果/下一步)。
我們假設存在AI代理的KB article repository,每一步包含以下細節:
?action_id:要執行的步驟標識。
?action_type:動作類型,比如api_call、get_user_input、retrieve_ext_knowledge。
?action_metadata:對于get_user_input,包含用戶預期輸入或傳達給用戶的消息;對于api_call,包含API端點及所需輸入參數。
基于LLMs的代理可以自主執行KB article中的步驟。相關的客戶服務臺代理包括:
? Customer Agent
? Product Agent
? SLA Agent
? Personalization Agent
? Responsible AI Agent
? Audio (Speech) Agent
? RAG based KB Retrieval Agent
? (Gen AI based) Email Response Generation Agent
4.2 數據管理/數據工程
本節展示如何將agentic AI應用于data platform management的兩個核心流程:data cataloging和data engineering(warehousing),并概述相關任務特定AI代理。
圖9展示了重新設計的agentic流程,捕獲關鍵任務:
? 自動化data pipelines(ingestion、modeling、transformation);
? 用AI驅動的政策執行實現governance & compliance;
? 啟用實時業務決策的insights & predictions。
圖10展示了適配于data platform management的agentic AI平臺參考架構。關鍵data cataloging代理包括:
?Supervisor agent:掃描企業源系統以發現新數據,分配和調度代理任務。
?Data discovery agent:自主提取entities,檢測關系并應用metadata enrichment。
?Data integration agent:與ERP、CRM等企業系統無縫整合,啟用實時catalog更新。
?Metadata validation agent:執行metadata一致性檢查,檢測重復,確保關系映射準確。
?Data observability agent:持續跟蹤data lineage,應用security和access control政策,確保compliance。
類似地,關鍵data engineering代理包括:
?Supervisor agent:調度batch和real-time jobs,自動化batch和streaming源的ingestion。
?ETL agents:提供data pipelines的端到端自動化,包括data ingestion、modeling和transformation。
?Data quality agent:執行data quality、integrity和consistency檢查,deduplicate記錄等。
?Data modeling and tuning agent:根據schema drift檢測和用戶查詢趨勢動態調整schemas和indexing,自動適配表結構。
?Data observability agent:持續監控data warehouse性能,auto-tuning數據管道以提升速度和成本效率。
5. 結論
Agentic AI是一個強大的范式,有潛力顛覆當今企業中普遍存在的許多業務流程。本文聚焦于“agentification”流程。
我們從一個高度依賴人工干預的手動流程開始,重新設想底層流程,利用autonomous AI代理實現高度自動化。然后識別并概述了與該流程相關的任務特定AI代理。最后展示了agentic AI平臺的參考架構,以個性化的方式為終端用戶orchestrate這些代理(層級)。
我們展示了兩項案例研究,應用agentification交付IT流程:data platform management(包括data cataloging和data engineering pipelines)以及優化客戶服務臺。我們相信,鑒于企業流程的不斷演變,agentification有潛力帶來顯著的業務價值。
本文轉載自??AI大模型觀察站??,作者:AI大模型觀察站
