隨著大模型技術的日漸成熟，應用已從原型演示向企業級落地過渡。之前，我們也多次介紹過有關諸如高級RAG等生產級技術，但缺少類似于MLOPS成熟度這樣的評估體系，無法衡量一個應用在企業級層面達到了何種水平。

今天，筆者介紹Google AI/ML和GenAI總監Ali Arsanjani提出的端到端生成式AI應用架構以及其成熟度的分級。

如圖可見，它將其分為UI/UX（自然語言對話交互）、Prompt Engineering（提示工程）、RAG 、Serve（服務）、Adapt（適配）、Prepare & Tune Data & Models（數據準備&模型微調）、Ground（閉環反饋、持續監控）、Multi-agent系統、Govern（倫理&合規）、MLOps、Secure、Run(計算平臺)等部分。

同時，成熟度模型便是基于這些模塊的有無和成熟程度展開。

生成式AI應用的成熟度是一個漸進的過程，如上圖展示了生成式AI解決方案在基于復雜度及ROI層面從L0一直到L6的七個成熟度。涵蓋了從基本數據準備和模型選擇開始，到微調、評估，最終達到多智能體系統、高級推理和負責任的人工智能實踐的高級階段。

以下是各個階段的詳細解讀。

L0: 數據準備 

這個階段主要集中于獲取或創建所需要的高質量數據集，包括數據的收集、清理、預處理、獲取使用授權、生成合成數據，以及進行數據工程和數據轉換的相關活動。

L1: 選擇模型與提示并部署模型 

處于這個階段的企業已經確定了合適的模型，并正在編寫有效的提示與它們交互。他們還能夠通過提示工程來引導模型執行特定任務，需要注意的是，相同的提示在不同的大語言模型上，可能不會產生相同的效果。 

模型選擇、提示工程和信息檢索：

這一過程首先是根據特定任務選擇合適的大語言模型，并用專有數據進行微調。有效的提示工程能夠指導模型的行為，信息檢索機制則從內部知識庫中提取相關信息。這個檢索步驟通常依靠企業搜索功能，使模型能夠訪問組織內部資源中的相關文檔和數據。需要注意的是，上下文學習和多次學習可以為模型調優提供有益幫助。詳見模型調優部分。

L2：檢索增強：通過信息檢索優化提示 

在之前的基礎上，本階段通過生成式 AI (GenAI) 模型檢索相關信息，從而提高交互的復雜性，以便提取特定的見解或數據。此階段的重點是使用專有或特定領域的數據對生成式 AI 模型進行微調，以提高性能并更好地滿足特定需求。檢索增強生成 (Retrieval Augmented Generation, RAG) 框架結合了信息檢索系統和大語言模型 (LLM)，以生成更準確和信息量更大的響應。根據檢索和集成機制的復雜性，RAG 可以分為不同級別。在初步從內部資源檢索信息之后，RAG 會利用外部搜索功能，這包括查詢外部知識庫、網絡和其他相關資源，以收集更多信息，增強生成輸出的準確性和上下文。內部和外部搜索的結合確保了對主題的全面理解。需要指出的是，檢索增強本身有不同層次的復雜性。

L2.1：簡單檢索和生成 

在這個基本級別，檢索增強生成（RAG）會根據用戶的查詢，從知識庫或語料庫中檢索相關文檔或段落。檢索到的信息會直接傳遞給大語言模型（LLM），LLM 將這些內容作為上下文生成響應。這種方法比較簡單，但由于完全依賴于 LLM 理解和綜合信息的能力，因此結果可能不總是最準確或最相關。

L2.2：上下文檢索和生成（Contextual Retrieval and Generation）

這個級別引入了更復雜的檢索機制，能夠考慮用戶查詢的上下文。它不僅依賴關鍵字匹配，還可能使用語義搜索或查詢擴展等技術來找到更相關的信息。檢索到的信息會在傳遞給 LLM 之前經過過濾和排名，以確保最佳相關性和重要性。這有助于提高生成響應的質量，使其更加集中和上下文相關。

L2.3：動態檢索和生成（Dynamic Retrieval and Generation）

這一級別在生成過程中動態檢索信息更進一步。LLM 不再一次性獲取所有信息，而是可以在生成過程中根據需要反復請求更多信息，從而生成更加全面和準確的響應。這種方法允許對話更加互動和細致，LLM 可以主動尋找額外的信息，解決模糊點或填補知識空白。

L2.4：多源檢索和生成（Multi-Source Retrieval and Generation）

這一高級別涉及從多個來源檢索信息，例如不同的知識庫、數據庫，甚至實時數據流。挑戰在于如何有效整合這些不同來源的信息，它們可能具有不同的格式、結構或可靠性。需要復雜的檢索和融合技術，以確保生成的響應是連貫、準確且最新的。

L2.5：知識感知生成（Knowledge-Aware Generation）

在這個最高級別，RAG 結合了知識圖譜或其他結構化知識表示，以增強 LLM 對檢索信息的理解。這使得 LLM 能夠推理檢索到的知識，識別概念間的關系，并生成更加有見地的響應。這種方法特別適用于需要深入領域知識或復雜推理能力的任務。

L3：使用特定領域數據微調模型

在這一階段，通過使用參數高效微調、人類反饋強化學習（RLHF）、監督微調（SFT）或完全微調（FFT）來進行模型調整。這些方法的復雜度和應用范圍會隨著成熟度的提高而變化。這使得模型可以基于特定行業或領域的數據進行訓練。每個企業都有自己多年積累的私有領域數據，這些數據在該垂直領域內具有獨特的價值。另一方面，也要通過訓練模型，使其熟悉特定領域如零售、醫療保健、金融服務等行業所包含的術語及相關知識。

微調 AI 模型的方法多種多樣，復雜性和應用范圍各不相同，從簡單的上下文調整到高級的強化學習。

以下是按照成熟度和復雜性排列的詳細方法概述：

3.1. 上下文學習（In-Context Learning，ICL）

成熟度水平：基礎 

相對成本：低 

所需數據量：最?。銟颖净蛏贅颖纠樱?/p>

描述：模型完全基于在提示中提供的上下文進行預測，而無需更新其參數。它依賴于在其預訓練階段獲得的知識。

用例：基于給定例子或提示，快速高效地生成文本或其他輸出。適合需要快速適應而無需重新訓練整個模型的場景。

3.2. Multi-shot （使用大上下文窗口）

成熟度水平：中級 

相對成本：適中 

所需數據量：最小到適中（少樣本到多樣本的例子與廣泛的上下文）

描述：這種方法通過利用非常大的上下文窗口來構建標準的在上下文中學習。它使模型能夠處理來自提示和周圍文本的大量信息。這不僅提高了對復雜任務的理解，還允許Multi-shot在上下文中學習，模型可以學習上下文窗口中提供的多個示例。

用例：適合需要深入上下文理解的任務，例如：

• 長篇本文生成
• 復雜的問題回答
• 文檔摘要
• 多步驟推理任務
• 多個例子可以指導模型輸出的任務

DeepMind 對“Many-Shot In-Context Learning”的研究表明，在上下文窗口中提供的示例數量增加時顯示出顯著的性能提升。這突出了利用大上下文窗口的潛力，不僅僅是為了提高理解，還為了使模型能夠有效地從多個演示中學習。

3.3. 小型語言模型的預訓練 

成熟度水平：中級 

相對成本：適中 

所需數據量：適中到大（取決于模型大小和所需性能） 

描述：這涉及從零開始訓練較小的語言模型，或在有限數量的數據上訓練。這些模型通常用于特定應用，其中大型通用模型不切實際，因為計算限制或領域特定要求。

用例：用于專門領域的任務，這些領域具有特定詞匯或有限的計算資源。也可以用作進一步微調或適應的基礎。

3.4. 適配器調整（Adaptor Tuning）

成熟度水平：中級 

相對成本：低到適中 

所需數據量：小到適中（特定于任務的數據） 

描述：這種技術在預訓練的語言模型中引入了小型、可訓練的適配器模塊。這些模塊專門設計為在新任務上進行微調，同時保持大部分原始模型參數凍結。這導致了高效的特定于任務的改編，計算開銷很小[4]。

用例：非常適合借助有限資源將大模型適應于特定任務。保持原始模型的效率和知識，同時允許快速和有針對性的微調。

3.5. 低秩適應（LoRA） 

成熟度水平：中級到高級 

相對成本：適中 

所需數據量：小到適中（特定于任務的數據） 

描述：LoRA 通過調整其權重矩陣的低秩逼近來微調模型。這大大減少了可訓練參數的數量，使其比全部微調的效率要高得多。

用例：適用于各種任務，包括自然語言處理和計算機視覺，在這些任務中你需要將大模型適應于特定任務，而不會產生訓練所有參數的全部計算成本。

3.6. 其他參數高效的微調方法 

成熟度水平：中級到高級 

相對成本：適中 

所需數據量：小到適中（特定于任務的數據） 

描述：這一類別包括了幾種技術，如prefix-tuning, prompt-tuning, and bitfit。它們都旨在通過調整模型的一小部分參數或輸入來微調模型，顯著減少了計算負擔。

用例：非常適合快速適應新任務或計算資源有限的場景。這些方法在高效性和調整模型行為能力之間提供了一個平衡。

3.7. 領域特定的預訓練 

成熟度水平：高級 

相對成本：高 

所需數據量：大（特定于領域的語料庫） 

描述：這涉及在特定領域（例如，法律、醫療或金融）的大型文本語料庫上預訓練模型。這有助于模型捕獲該領域獨特的細微差別、詞匯和知識結構。

用例：在通用模型可能缺乏必要領域專業知識的專業領域極其寶貴?？梢宰鳛檫M一步微調或適應該領域內的起點。

3.8. 監督微調 

成熟度水平：高級

相對成本：高 

所需數據量：大（標記的特定于任務的數據） 

描述：這是經典的微調方法，即整個模型在特定任務的標記數據集上進行訓練。所有模型參數都更新以優化其在該任務上的性能。

用例：適用于有大量標記數據的任務，如文本分類、情感分析、命名實體識別和問題回答。

3.9. 全參數微微調 

成熟度水平：高級 

相對成本：非常高 

所需數據量：大到非常大（標記的特定于任務的數據） 

描述：這種方法是微調的最廣泛形式，在新任務特定數據集上訓練期間調整預訓練模型的所有參數。

用例：通常保留給在特定任務上的最大性能至關重要的情況，并且你能夠使用大量的計算資源和大型高質量數據集。

3.10. 指令微調

成熟度水平：高級 

相對成本：高到非常高 

所需數據量：大（多樣化的基于指導的數據集）

描述：這種方法涉及對模型進行微調，以便遵循廣泛的指導并完成各種任務。模型在包含指導及其相應期望輸出的多樣化數據集上進行訓練。

用例：增強模型理解和執行復雜指導的能力，使其適合通用人工智能助手、聊天機器人和其他需要靈活任務執行的應用程序。

3.11. 結合人類反饋的強化學習（RLHF）

成熟度水平：前沿 

相對成本：非常高 

所需數據量：可變，但往往大（人類反饋數據） 

描述：RLHF 結合了強化學習技術和人類用戶的反饋。模型通過根據其行為和所收到的反饋接收獎勵或懲罰來學習，旨在根據人類偏好優化其行為[10]。

用例：在人類偏好至關重要的情況下應用，如對話代理、推薦系統和其他直接與用戶互動的應用程序。

3.12. 直接優先級優化（DPO） 

成熟度水平：實驗性 

相對成本：非常高

所需數據量：可變（用戶偏好數據） 

描述：DPO 專注于根據用戶的反饋和偏好直接優化模型。這通常涉及技術，如梯度下降來調整模型的參數，使其與觀察到的用戶偏好保持一致[10]。

用例：特別適合用戶滿意度至關重要的應用程序，偏好可以直接測量和優化。示例包括個性化內容推薦系統和用戶界面設計。

3.13. 多任務微調

成熟度水平：高級 

相對成本：高到非常高 

所需數據量：大（多個任務的標記數據） 

描述：在多任務微調中，模型同時在多個相關任務上進行訓練。這允許模型在任務之間利用共享的知識和表示，可能導致性能和泛化能力的提高[11]。

用例：在場景中特別有益，模型需要在多種任務上表現良好，例如多領域客戶服務機器人或需要理解語言的各個方面的模型（例如，情感分析、問題回答和文本摘要）。

3.14. 元學習（學會學習） 

成熟度水平：前沿 

相對成本：非常高 

所需數據量：可變，通常大（元訓練數據）

描述：元學習專注于培訓模型，使其能夠通過最少的數據快速適應新任務。它涉及在培訓階段對模型在各種任務上進行訓練，使其學會高效學習。

用例：在模型需要快速適應少量示例的新任務或領域的情況下特別相關，例如少樣本學習場景或個性化學習系統。

3.15. 主動學習 

成熟度水平：高級 

相對成本：高到非常高 

所需數據量：可變，通常迭代（最初較小，隨著模型查詢更多數據而增長） 

描述：主動學習涉及模型積極選擇最具信息量的數據點進行標記，從而優化微調過程[13]。

用例：在標記數據昂貴或耗時的情況下極其寶貴。通過專注于最相關的示例，主動學習可以顯著減少有效微調所需的標記數據量。

3.16 知識蒸餾（Knowledge Distillation） 

成熟度等級：中高級

成本開銷：中到高 

數據需求量：中到大 

描述：這是一種將從大型、預先訓練的教師模型中的知識轉移至一個體積更小、效率更高的學生模型（student model）的技術 [14]。 

應用場景：特別適用于在存儲和計算資源有限的設備上部署模型，如手機或邊緣計算設備，同時保持較好的性能。

這些方法每一種都相較前一種在復雜性和資源需求上更進一步，涵蓋了從簡單的上下文調整到包含人類反饋及廣泛參數調整的高級技巧。選擇適合的方法主要基于任務的特定需求、可用的資源和預期達到的性能標準。

L4 ：通過搜索和引用來實現模型輸出的基礎驗證

除了模型微調，此級別還包含了生成式 AI (GenAI) 輸出的基礎驗證和評估。也就是說，需要確保生成的內容在事實上是準確的、相關的，并符合倫理標準。

在生成式 AI 成熟度模型的第四級，融合了多項能力以確保通過一個堅固的基礎驗證和評估流程來提升生成輸出的質量和可靠性，此過程得到了內部企業搜索及使用 Vertex AI 基礎驗證服務的外部類似 Google 的搜索的增強。

基礎驗證與評估：無論是來自內部還是外部的信息，都將經過徹底的基礎驗證和評估過程。這包括驗證事實的準確性，識別潛在的偏誤并評估信息對生成輸出的相關性。Vertex AI 基礎驗證服務在這一步中扮演了重要角色，因為它為所用信息提供了引用和參考文獻，增加了生成內容的信譽度和透明度。

基礎驗證后的優化：經過基礎驗證和評估過程后，大語言模型 (LLM) 可能會根據收到的反饋調整生成的輸出。這一調整過程確保了最終的輸出不僅準確、相關，而且有可信源頭的支持。

模型服務化：最終，這些經過優化和驗證的模型被提供給用戶或集成到應用程序中，提供的是基于已驗證信息的可靠且富有見解的回應。

內部企業搜索通過快速識別組織內部知識庫的相關文件、數據和信息來輔助驗證生成輸出，提供了一個寶貴的出發點，從公司特定的知識和專業背景出發來確立生成輸出的基礎。例如 Vertex AI 基礎驗證服務這樣的外部 Google 搜索模式則擴大了信息檢索范圍，通過訪問大量外部資源來確保生成的輸出不僅限于組織內部的知識，還融合了來自更廣泛領域的最新信息和洞察。當結合了這兩種搜索能力，生成式 AI 系統能夠從內部和外部資源中尋找到引用和參考，增強了生成輸出的信用度和可靠性。這一基礎驗證和評估流程保證了最終輸出不僅具有內容價值，還是值得信賴和透明的。

L5：Agent系統

這個進階階段引入了多智能體系統，這里不單是一個生成式 AI (GenAI) 模型獨自工作，而是多個 生成式AI模型在一位中央大語言模型 (LLM) 的指揮下協同合作，處理需要協調和綜合多種能力的復雜任務。同時，還特別強調了如何有效監控和理解模型行為（可觀察性），以及如何將生成式 AI 模型的整個生命周期運營化（LLM 運維）。

在生成式 AI 成熟度模型的第5級，多個關鍵能力結合，構建了一個復雜的系統，它為基于智能體和多智能體系統的發展奠定了基礎。

模型選擇、智能提示設計和信息檢索：一切從選擇一個適合特定任務的 LLM 開始，進而通過專有數據對其進行細致微調。高效的智能提示設計可以引導模型的行動，而信息檢索機制則能從多種來源抽取相關的信息，豐富 LLM 的知識庫。你可以運用包括上下文學習、鏈式思考、明確步驟的格式化，以及 XML 類結構的高級智能提示設計技術，甚至可以進一步使用思考框架，結合評估 LLM 結果和基于觀察的輸出進行推理再生成最終行動的 ReAct 框架，以此達到更高層次的復雜性。

通過 LLM 編排：5級重要的創新之一是引入中心 LLM 作為協調者。它像指揮家一樣，編排其他模型或組件的行動，分配任務，管理溝通，并將來自不同模型的輸出整合起來，構建一個統一連貫的工作流。這標志著邁向基于智能體系統的初步步驟，個別模型在這里扮演著專門的角色。

基礎驗證和評估：繼上一級之后，繼續使用基礎驗證來保障生成輸出的質量和可靠性，運用不同的機制對信息進行驗證并評估回應的可能影響。評估過程則持續監視系統性能，為不斷的優化提供反饋。

評估、可觀察性和 LLMOPS：在此級別，為生成式 AI 參考架構的每個部分引入了正式的和全面的可觀察性和評估機制。

這種對系統性能的持續評估和監控對于生成式 AI 模型的不同部件至關重要，如提示、RAG輸出、模型調整的偏差或偏漂、基礎驗證輸出等?？捎^察性使我們能夠洞察 LLM 的行為，并對此進行積極調整。LLMOPS則簡化了整個生成式 AI 基礎設施的部署、管理和監控過程。

Agent系統 vs MultiAgent系統

Agent系統 ：涉及單個大型語言模型 (LLM) 作為代理，執行任務，做出決策并與其環境交互。LLM 可以被視為具有多種功能的單一實體。

multiAgent系統：從基于代理的系統發展而來，引入了多個專門的 LLM。每個 LLM 作為一個獨立的代理，具有特定的角色或專業知識。這些代理協作、溝通和協調他們的行動來解決單個代理無法有效處理的復雜問題。

L5 作為邁向MultiAgent系統的基礎，為編排多個模型奠定了基礎架構。它使組織能夠嘗試將特定任務分配給不同的模型并評估其性能。這種實驗為開發更復雜的MultiAgent系統鋪平了道路，在這些系統中，具有互補技能的不同模型可以協同工作以實現共同目標。

L6：多智能體倍增器

在 AI 領域的最高成就之一，就是應用如“思維樹 (Tree-of-Thought)”或“思維圖 (Graph-of-Thought)”這樣的尖端技術，來提升生成式 AI（GenAI）模型的推理和規劃能力。這些方法為決策和解決問題提供了更為復雜且高級的途徑。在此級別，大語言模型（LLM）不僅自我指揮，還能控制其他 LLM，顯現出一個高度自主和能力強大的 GenAI 生態系統。此外，重點關注“負責任的 AI”，展現了對 AI 技術倫理和公平使用的堅定承諾。

L6反映了 GenAI 技術的顯著成熟，它巧妙地融合了尖端技術和架構，達到了產出高價值能力的目標。

通過‘思維樹（TOT）/思維圖（GOT）’強化推理能力：第 6 級充分利用了“思維樹 (ToT)”或“思維圖 (GoT)”架構的力量。通過這些架構，LLM 能夠將復雜問題拆解為小而易管理的步驟，有系統地探索可能的解決方案，從而做出明智的決定，極大地增強了 GenAI 系統的推理、規劃和問題解決能力。

用DSPY和ReAct進行主動信息收集：L6 加入了像 DSPY（演示Demonstrate-搜索Search-預測Predict）和 ReAct（推理和行動）這樣的技術。DSPY 指導 LLM 在何時尋找外部信息、預測相關查詢以及如何將檢索到的信息整合進推理過程中。ReAct 則賦予 LLM 主動與環境互動的能力，依據收集到的信息進行決策和行動。

信息的檢索與融合：L6 采用先進的信息檢索技術，從不同來源（包括內部知識庫和外部數據庫）獲取相關數據，并將這些數據無縫融入到 LLM 的推理過程中，確保獲得的知識既最新又與上下文高度相關。

通過自定義數據調優模型：通過專有或特定領域的數據對 LLM 進行精細調整，不僅優化了其性能，也使其更適合特定的任務和領域需求。這保證了模型生成的響應既準確且與上下文高度貼切。

多智能體的協調與控制：L6 通過部署多智能體系統，使得多個 LLM 在一個中心 LLM 的指揮下協同工作，有效處理了那些需要協調、專業化處理和廣泛專業知識的復雜任務。

確?；A和評價的準確性：采用嚴格的驗證和評價機制，確保產出的內容不僅事實準確、高度相關，還遵從倫理和安全準則。這包括針對可靠來源的信息進行核實，并評估產出可能帶來的影響。

持續評估、可觀測性和運維優化：L6 特別注重對 GenAI 系統性能的持續評估和監控，深入了解其行為，及時進行調整。采用了先進的運維實踐，簡化了 GenAI 基礎設施的部署、管理和監控流程。

L6 通過將最前沿的技術手段和最佳實踐完美結合，讓 GenAI 系統在推理、決策與解決問題的能力上達到了前所未有的高度。這一全面的方法確保了系統的強大性、可靠性、倫理性，并能隨著需求的變化而適應。

橫向與縱向領域

企業通過提升效率、生產力、客戶滿意度以及創新能力，可以顯著提高投資回報率（ROI）。為此，早期識別、測量、監控并調整這些指標和關鍵績效指標（KPIs）至關重要。精細定義目標、有效測量 KPIs 并持續調整戰略，對于在快速變化且不斷重組的商業環境中充分利用 GenAI 的潛力至關重要。

在橫向領域提高 ROI 的 GenAI 應用 

所謂“橫向領域”，指的是那些貫穿不同行業和組織內各業務單元的通用功能或流程。通過在這些領域應用 GenAI，可以提升工作效率、生產力和整體投資回報。

• 市場營銷與銷售：通過個性化客戶體驗、生成精準定向內容、優化營銷活動，提升客戶參與度、轉化率和銷售額。
• 客戶服務：利用 GenAI 驅動的聊天機器人和虛擬助手，有效處理客戶咨詢、自動化應答并解決問題，提升客戶滿意度并降低支持成本。
• 人力資源管理：簡化招聘流程、個性化員工入職體驗、提供定制化學習和發展機會，增強員工的參與感和生產力。
• 財務與會計：自動化財務分析、識別異常和欺詐行為、優化財務流程，提高準確性、效率和風險控制水平。
• 運營與供應鏈管理：優化庫存管理、預測需求、簡化物流操作，從而降低成本、提高供應鏈效率。

在縱向領域提高 ROI 的 GenAI 應用

“縱向領域”特指那些特定于某一行業或子行業的領域，需要針對每個行業的特定需求和挑戰定制解決方案。

在多個縱向領域部署 GenAI 同樣能夠有效推動 ROI。

• 醫療保?。涸卺t學診斷、藥物發現和個性化治療計劃方面提供輔助，改善患者治療結果，降低醫療成本。
• 金融：分析財務數據、預測市場趨勢、提出投資建議，改善決策制定和風險管理。
• 零售：個性化商品推薦、優化定價策略、增強購物體驗，提升銷售額和顧客忠誠度。
• 制造業：優化生產流程、預知設備故障、提升質量控制，降低成本、提高生產效率。
• 教育：提供個性化學習體驗、自動化反饋和自適應評估，提高學生的學習成果和參與感。

結束語及行動呼吁 

理解組織、團隊或個人當前的成熟度和技術深度非常重要。接下來，確定目標成熟度并發展必要的技能，滿足達到該成熟度所需的技術要求，實現定義好的商業影響和目標。

組織可以規劃從當前狀態到達目標成熟度的路徑，通過構建技能和能力、利用如 Google Cloud AI 這樣的工具和平臺，推進商業目標，實現其所追求的成熟度級別的商業成果。

本文轉載自??AI工程化??，作者： ully