實施需要周密的計劃、資源管理以及采用現代部署實踐和工具。

譯自A Guide to Model Composition，作者 Sherlock Xu。

考慮一款旨在識別和分類野生動物照片的 AI 驅動的圖像識別應用程序。您上傳一張遠足時拍攝的照片，幾分鐘后，該應用程序不僅識別出照片中的動物，還提供了有關其物種、棲息地和保護狀態的詳細信息。這種應用程序可以通過模型組合構建，這是一種多個人工智能模型協作從不同角度分析和解釋圖像的技術。

在此背景下，模型組合可能涉及一系列專門的模型：一個用于檢測圖像中的動物，另一個用于將其分類為廣泛的類別（例如，鳥類、哺乳動物和爬行動物），還有一組模型共同確定具體物種。這種分層方法提供了細致入微的分析，超出了單個 AI 模型的能力。

什么是模型組合？

從本質上講，模型組合是一種機器學習策略，它結合了多個模型來解決一個復雜的難題，而單個模型無法輕松解決。這種方法利用了每個單獨模型的優勢，提供了更細致入微的分析和更高的準確性。模型組合可以看作是組建一個專家團隊，每個成員都將專門的知識和技能帶到談判桌上，共同努力實現一個共同的目標。

許多現實世界的問題對于一刀切的模型來說過于復雜。通過協調多個模型，每個模型都經過訓練來處理問題或數據類型的特定方面，我們可以創建一個更全面、更有效的解決方案。

有幾種方法可以實現模型組合，包括但不限于：

• 順序處理：模型按流水線排列，其中一個模型的輸出作為下一個模型的輸入。這通常用于數據預處理、特征提取，然后是分類或預測等任務。
• 并行處理：多個模型并行運行，每個模型獨立處理相同的輸入。然后通過平均、投票或更復雜的聚合模型將它們的輸出組合起來，以產生最終結果。這通常用于集成方法。

與模型組合相關的另一個重要概念是推理圖。推理圖直觀地表示了數據通過各種模型和處理步驟在模型組合系統中的流程。它概述了模型如何連接、它們之間的依賴關系以及數據如何從輸入轉換并流向最終預測。圖形表示有助于我們設計、實現和理解復雜的模型組合。以下是一個推理圖示例：

圖片

1. 該服務接受文本輸入，例如“我有一個主意！”
2. 該服務同時將提示發送給三個單獨的文本生成模型，這些模型并行運行以使用不同的算法或數據集生成結果。
3. 然后將這三個模型的結果發送到文本分類模型。
4. 分類模型評估每段生成文本并為其分配分類分數（例如，基于內容的情緒）。
5. 最后，該服務聚合生成的文本及其各自的分類分數，并以 JSON 形式返回它們。

我應該在什么時候組合模型？

模型組合是機器學習中廣泛挑戰的實用解決方案。以下是一些模型組合發揮關鍵作用的關鍵用例。

多模態應用程序

在當今的數字世界中，數據以各種形式出現：文本、圖像、音頻等等。多模態應用程序結合了專門處理不同類型數據的模型。一個典型的組合模型來創建多模態應用程序的例子是BLIP-2，它專為涉及文本和圖像的任務而設計。

BLIP2 集成了三個不同的模型，每個模型都為系統提供了獨特的功能：

• 一個凍結大型語言模型(LLM)：提供強大的語言生成和零樣本遷移能力。
• 一個凍結的預訓練圖像編碼器：從圖像中提取和編碼視覺信息。
• 輕量級查詢轉換器模型 (Q-Former)：彌合 LLM 和圖像編碼器之間的模態差距。它將來自編碼器的視覺信息與 LLM 集成在一起，重點關注生成文本的最相關的視覺細節。

BLIP-2 架構。來源：原始 BLIP-2 論文

集成建模

集成建模是一種用于提高機器學習模型預測精度的技術。它通過結合多個模型的預測來產生一個更準確的單一結果。其核心思想是，通過聚合多個模型的預測，通常可以實現比任何單個模型單獨實現更好的性能。集成中的模型可以是同類型的（例如，所有決策樹），也可以是不同類型的（例如，神經網絡、決策樹和邏輯回歸模型的組合）。集成建模中的關鍵技術包括：

• Bagging：在訓練數據的不同子集上訓練多個模型，然后對它們的預測進行平均。這有助于減少方差。
• Boosting：順序訓練模型，其中每個模型都嘗試糾正前一個模型所犯的錯誤。
• Stacking：訓練多個模型，然后使用一個更好的模型，該模型利用每個基礎模型的優勢來提高整體性能并結合它們的預測。

集成建模的一個實際用例是天氣預報系統，其中準確性對于各行業和活動中的規劃和安全至關重要。天氣預報的集成模型可能會整合來自各種模型的輸出，每個模型都在不同的數據集上進行訓練，使用不同的算法或關注天氣現象的不同方面。一些模型可能更擅長預測降水，而另一些模型則在預測溫度或風速方面表現得更好。通過聚合這些預測，集成方法可以提供更準確、更細致的預測。

流水線處理

機器學習任務通常需要一系列處理步驟，將原始數據轉換為可操作的見解。實現模型組合可以幫助你將這些任務構建為流水線，其中每一步都由針對特定功能進行優化的不同模型處理。

常見用例之一是自動文檔分析系統，它能夠處理、理解和從文檔中提取有意義的信息。該系統可能使用一系列模型，每個模型都專門用于處理流水線中的一個階段：

• 預處理：第一步可能需要一個 OCR（光學字符識別）模型，該模型從掃描的文檔或圖像中提取文本。此模型專門用于識別和將各種字體和手寫體轉換為機器可讀文本。
• 預測：在文本提取之后，可以使用文本分類模型根據其內容對文檔進行分類，例如法律文件、技術手冊或財務報告。此分類步驟對于將文檔路由到適當的下游流程非常重要。
• 后處理：在分類之后，可以使用摘要模型生成文檔內容的簡潔摘要。此摘要提供了對文檔的快速見解，為決策和優先級排序提供信息。

除了順序流水線之外，你還可以實現并行處理，以便多個模型在相同數據上同時運行（如第一張圖片所示）。這在以下場景中很有用：

• 集成建模：聚合來自多個模型的預測以提高準確性。
• 計算機視覺任務：圖像分割和對象檢測模型可以并行運行，以提供對圖像的全面分析，將對圖像結構的見解與對特定對象的識別相結合。

模型組合有哪些好處？

模型組合提供了許多操作和開發優勢。以下是一些主要好處：

提高準確性和性能

在某些情況下，多個模型協同工作的協同作用可以提高準確性和性能。組合中的每個模型可能專注于問題的特定方面，例如不同的數據類型或數據的特定特征，確保組合系統涵蓋比任何單個模型更多的整個問題空間。在集成建模中尤其如此，因為聚合來自多個模型的結果可以幫助消除它們的個體偏差和錯誤，從而產生更準確的預測。

專用基礎設施和資源分配

模型組合允許你在各種硬件設備上部署所涉及的模型，優化計算資源的使用。可以根據它們的處理需求和資源可用性將它們分配到最合適的基礎設施上——無論是 CPU、GPU 還是邊緣設備。這種專用分配還確保可以單獨擴展系統的每個部分。

定制和靈活性

模型組合允許你根據特定需求定制和調整系統。你可以選擇最適合特定任務的模型，并根據需要輕松添加或刪除模型。這種靈活性使你可以快速適應不斷變化的業務需求和數據可用性。

模型組合最顯著的優勢之一是它提供的靈活性。模型可以在系統內輕松添加、移除或替換，使開發人員能夠隨著新技術的出現或需求的變化來調整和演進他們的應用程序。這種模塊化方法簡化了更新和維護，確保系統能夠快速適應新的挑戰和機遇。

更快的開發和迭代

模型組合支持并行開發工作流，允許團隊同時處理系統中的不同模型或組件。這有助于加速開發過程，這意味著更快的迭代和更迅速的原型制作。它還使團隊能夠對反饋和不斷變化的需求做出更敏捷的響應，因為可以優化或替換各個模型，而不會中斷整個系統。

資源優化

通過在多個模型之間智能地分配工作負載，每個模型針對特定任務或硬件進行優化，您可以最大化資源利用率。這種優化可以帶來更有效的處理、更低的延遲和更低的運營成本，尤其是在需要大量計算能力的復雜應用程序中。有效的資源優化還意味著您的應用程序可以更平穩地擴展，以適應數據量或用戶需求的增長。

使用 BentoML 組合多個模型

不同的模型服務或模型部署框架可能會采用不同的模型組合方法。在這方面，BentoML作為一個開源模型服務框架，提供了簡單的服務 API 來幫助您封裝模型、建立服務間通信并將組合模型公開為 REST API 端點。

下面的代碼示例演示了如何使用 BentoML 組合多個模型。在 BentoML 中，每個服務都被定義為一個 Python 類。您可以使用@bentoml.service裝飾器將其標記為服務并為其分配 CPU 或 GPU 資源。當您將其部署到BentoCloud時，不同的服務可以在專用的實例類型上運行，并且可以單獨擴展。

圖片

在此 BentoMLservice.py文件中，GPT2 和 DistilGPT2 被初始化為單獨的 BentoML 服務以生成文本。然后，BertBaseUncased 服務獲取生成的文本并對其進行分類，提供表示情緒的分數。InferenceGraph服務協調這些單獨的服務，使用asyncio.gather從兩個 GPT-2 模型同時生成文本，然后使用 BERT 模型對輸出進行分類。

在部署到 BentoCloud 后，服務可以在單獨的實例類型上運行，如下所示：

圖片

監控性能：

圖片

有關詳細說明，請參閱此示例項目。

常見問題

在結束之前，讓我們看看有關模型組合的一些常見問題。

集成建模和多模態應用程序之間有什么區別？

這兩個機器學習概念服務于不同的目的，并應用于不同的環境。

• 目的和應用：集成建模通過組合多個模型來提高預測準確性。多模態應用程序集成和解釋來自多個來源或類型的的數據，以做出更好的決策或預測。
• 模型與數據：集成建模專注于使用多個模型來增強預測。多模態應用程序專注于集成不同類型的數據（例如，文本、圖像、音頻）。
• 實現：多模態系統通常需要數據預處理和特征提取技術來有效處理不同類型的數據。另一方面，集成建模需要結合模型預測的策略，這可能涉及直接平均或更復雜的投票系統。

我在應用程序中使用單個模型。我應該轉向多模型嗎？

重要的是要注意，雖然模型組合提供了如上所述的不同好處，但它并不總是必要的。如果單個模型可以有效且準確地完成手頭任務，我建議您堅持使用它。組合多個模型的決策和處理流水線的設計應根據您的具體要求進行指導。

模型組合如何影響生產部署？

集成多個模型會增加生產部署的復雜性。您需要考慮以下因素：

復雜性增加

• 配置和管理：組合中的每個模型可能需要其配置、依賴項和環境。在多個模型中管理這些內容會增加部署過程的復雜性。
• 服務編排：組合多個模型通常需要仔細編排，以確保數據在模型之間正確流動，并且每個模型按要求以正確的順序或并行執行。

資源分配

• 硬件要求：如上所述，不同的模型可能具有不同的硬件要求。一些模型可能需要 GPU 進行推理，而另一些模型可以在 CPU 上運行。您選擇的提供和部署框架應支持靈活的資源分配，以滿足您的需求。
• 擴展策略：在生產中擴展多個模型可能不像擴展單個模型那樣簡單。應用程序的不同組件可能具有不同的負載，需要動態擴展策略，該策略可以根據需求調整各個模型的資源。

監控和維護

• 監控：跟蹤生產中不同模型的性能和運行狀況需要全面的監控解決方案，這些解決方案可以提供對每個模型的性能、資源使用情況和潛在瓶頸的見解。
• 版本控制和更新：更新復合應用程序中的一個模型可能會對其他模型產生級聯影響。必須制定適當的版本控制和測試策略，以便在不中斷應用程序整體性能的情況下管理更新。

部署策略

• 微服務架構：采用微服務架構可以通過將每個模型封裝為一個單獨的服務來簡化多個模型的部署。這種方法簡化了擴展、更新和管理，但需要靈活的服務編排工具。
• 容器化：使用容器部署 AI 模型可以幫助管理每個模型的依賴項和環境。容器編排工具（如 Kubernetes）可以幫助管理容器化模型的部署、擴展和網絡。

模型組合可以通過需要更多資源和更復雜的部署策略來影響部署。但是，如上例所示，BentoML 和 BentoCloud 等平臺可以通過允許開發人員高效地打包、部署和擴展多模型服務，幫助開發人員構建多個模型的 AI 應用程序。

最后的想法

雖然模型組合的好處很明顯，從增強的性能到處理多種數據類型的能力，但重要的是要認識到它帶來的復雜性，尤其是與生產部署相關的復雜性。成功的實施需要仔細規劃、資源管理以及采用現代部署實踐和工具來應對配置、擴展和維護方面的挑戰。