什么是LLMOps?
1.概念
自2018年GPT-2的問世以來，大語言模型（LLM）如GPT系列逐漸發展壯大，尤其是GPT-3及其后續版本的推出，性能方面顯著提升。這些模型的強大能力催生了眾多應用，如客戶服務的聊天機器人、多語言翻譯服務和輔助寫作編程的工具等。面對LLM在實際應用中的獨特挑戰，業界發展出了新的工具和最佳實踐，以更有效地管理這些模型的整個應用生命周期，這一進程的集合即為“LLMOps”。
LLMOps（Large Language Model Operations）定義為大語言模型運維，其縮寫LLMOps的意思是面向LLM的MLOps，涵蓋了大語言模型（如GPT系列）開發、部署、維護和優化的一整套流程。其目標是確保高效、可擴展和安全地使用這些強大的 AI 模型來構建和運行實際應用程序。它涉及到模型訓練、部署、監控、更新、安全性和合規性等方面。
要理解LLMOps，關鍵在于掌握大語言模型（LLMs）作為服務的運作流程。這包括用戶輸入（綠色部分），在輸入到模型之前會經歷一些處理步驟；模型輸出（紅色部分），在展示給用戶之前也會經歷幾輪轉換。可以看出，提示在傳遞給模型之前需經過多個階段，這些步驟雖有差異，但基本的目的相同：確保輸入被正確理解，并且模型的輸出與上下文相匹配。
2.LLMOps Cookbook
- LLMOps的關鍵組成部分
LLMOp配置中應該使用哪種模型，市面上有各種類型的模型可供選擇，每種模型都針對特定的用例進行了優化，且有不同的大小選項等，選擇合適的模型主要取決于應用和可用資源。
- 選擇合適的基礎模型
LLM模型和提供商可以分為以下幾類：
專有模型：這一類別包括像OpenAI（GPT模型）、Google（PaLM模型）和Anthropic（Claude模型）這樣的公司，它們訓練專有的LLM，并通過Web界面或API端點將它們作為服務提供。
開源模型：這一類別由社區、學術界或像Eleuther AI和Big Science這樣的組織開發的免費模型。理想情況下，我們可以采用一個開源模型，并自行構建服務，包括LLMOps基礎設施。
提供基礎設施的公司：這些公司為開源LLM提供LLMOps基礎設施，他們通過提供部署服務來實現盈利，如Together AI這樣的公司，提供了輕松定制LLMOps基礎設施的機會。
專有模型是由擁有大型專家團隊和大量預算的公司擁有的閉源基礎模型，通常比開源模型更大，因此具有更好的性能，由于是現成的模型，因此很容易使用。專有模型的主要缺點是API費用昂貴。此外，閉源基礎模型為開發人員提供的靈活性很少或者根本沒有靈活性。
開源模型通常在Hugging Face、魔搭上以社區形式組織和托管，通常比專有模型功能更少。但從好的方面來看，比專有模型更具成本效益，并為開發人員提供了更大的靈活性。
- 選擇合適的微調策略
大語言模型（LLM）無論是專有還是開源，通常都需要經過微調才能適應特定的應用場景。市面上已有針對特定任務預微調的LLM，如聊天機器人、文本摘要和情感分析模型。此外，針對長文本處理的需求，一些模型提供了能夠處理更多上下文（如GPT 3.5的16k上下文大小變體）的長上下文版本。
如果現有的模型無法滿足特定需求，可以選擇對模型進行微調或從頭開始訓練，而選擇合適的數據集對于后者尤為關鍵，它決定了模型對目標任務的理解和適應能力。
如果我們的應用程序需要對現有模型進行微調，相關步驟也應成為LLMOps設置的一部分，現在將這個定制步驟添加到原始的圖表中：
LLMOps工作流程將模型定制步驟（橙色部分）納入通用工作流程中。擁有一個一致的微調流程可以幫助開發者隨著更多數據的可用性，擴展模型的知識，允許輕松升級LLM版本或進行其他修改。當依賴第三方模型時，要注意這些模型可能在可用性到成本方面發生變化，這可能會迫使我們切換到不同的基礎模型。一個健壯的LLMOps配置支持，將使我們能夠通過簡單地用不同的LLM替換“模型”框來順利處理這種關鍵情況。
然后為了確保在LLMOps基礎設施中有效地進行訓練、微調和模型優化，保持訓練數據與后續推理數據格式的一致性至關重要。通常，采用JSON Lines（.jsonl）格式來組織訓練數據，這種格式得益于其結構特點，非常適合用于LLM的微調，并且能夠高效地處理大規模數據集。
典型的用于微調的.jsonl文件像這樣：
{"prompt": "問題：法國的首都是什么？", "completion": "法國的首都是巴黎。"}
{"prompt": "問題：誰寫了《麥克白》？", "completion": "《麥克白》是由威廉·莎士比亞寫的。"}文件中的每一行都是一個獨立的JSON對象，代表一個單一的訓練示例，其中prompt和completion鍵分別指示輸入文本和預期的模型響應。此外，這種格式便于向模型的知識庫中增量添加或導出新數據。
最后，在設置LLMOps基礎設施時，模型參數也很重要，因為它們會影響模型大小和資源消耗等特性。
關于訓練參數，優化訓練參數以平衡模型的復雜性與部署的限制（如內存使用）至關重要。這種優化對于在資源容量不同的多樣化環境中部署模型非常重要，確保模型不僅先進，而且適用于現實世界的應用。
關于推理參數，調整最大token參數可以控制響應的長度和隨機性。這些設置作為LLMOps過程的一部分進行管理，以使模型的輸出與特定應用要求和用戶意圖保持一致。
- 如何進行模型的評估
在經典MLOps中，ML模型在保留的驗證集上進行驗證，并基于模型性能度量進行評估。但是如何評價LLM的表現呢？如何判斷回應是好是壞？目前，相關組織正在對模型進行A/B測試，為了幫助評估LLM，出現了HoneyHive、HumanLoop等工具。
- 如何進行模型部署和監控
當基礎模型訓練或微調完成，并且對成果滿意后，接下來就是部署模型的階段。在LLMOps中，部署意味著將語言模型從訓練狀態轉移到生產環境，使其能夠在實際工作中發揮作用。
部署還包括設置我們與生產中的模型通信的接口。通常，接口取決于處理模式：
- 實時處理：對于需要實時交互的應用，如聊天應用，部署模型的方式必須允許立即處理數據并生成輸出。這通常通過創建與模型接口的應用程序編程接口（API）來實現。如今，有許多庫，如Flask，允許我們通過簡單的步驟創建API接口。 API可以部署在Web服務器或云平臺上，確保用戶或需要與模型交互的系統可以訪問它們。我們的LLMOps設置應確保API能夠處理預期的負載，并考慮擴展性、負載均衡和故障轉移機制。
- 批量預測：在許多用例中，實時預測并不必要。例如，如果有一批客戶評論，需要每周分類一次，我們可以使用訓練好的模型批量處理這些評論。這種方法對于時間不敏感的任務來說是高效且資源友好的。對于批量用例，可以使用cron（在類Unix系統）或基于云的任務調度服務等工具來安排批量作業。這些作業將在指定的時間間隔內運行模型處理新數據，處理數據并存儲結果。
- 模型打包：包括將模型及其依賴項包裝成可以輕松部署和在生產環境中使用的格式。這可能涉及容器化技術，如Docker，它封裝了模型及其環境，以確保在不同平臺間的一致性。
- 模型版本控制：跟蹤模型的不同版本至關重要，特別是當您更新或重新訓練模型時。版本控制有助于保持模型迭代、訓練數據和提示模板的清晰記錄。
在不同版本更新或切換模型，需要監控LLM驅動的應用程序對應底層API模型的變化。目前已經出現了監控LLM的工具，如Whylabs、HumanLoop等。
4.總結與展望
使用LLMOps（Large Language Model Operations）可以顯著提升開發和運維大語言模型（LLM）應用的效率和效果。但是仍然面臨著以下的挑戰：
- 模型大小與計算資源挑戰：大規模預訓練模型通常體積龐大，需要大量的參數以達到優秀的性能，這給模型的部署和使用帶來了挑戰。模型的訓練和推理要求巨大的計算資源，對企業和研究機構造成了壓力。
- 數據隱私和安全挑戰：大規模預訓練模型需要使用海量數據進行無監督學習，可能引發數據隱私和安全問題。在特定領域如醫療領域應用時，敏感數據的暴露可能造成隱私泄露的風險。同時，預訓練過程中存在惡意注入攻擊的風險，可能導致模型被篡改和損壞。
- 特定領域知識與遷移學習的挑戰：預訓練模型在無標注數據上訓練，其特征具有一定的通用性，但在特定領域應用中可能缺乏相關知識，導致性能下降。將預訓練模型遷移到具體任務上需要額外的標注數據，增加了應用的成本和困難。
- 技術更新和持續學習的挑戰：隨著技術的不斷進步，LMMOps需要不斷跟進最新的技術趨勢，以保持模型的競爭力和性能。持續學習對于模型的優化和改進至關重要，但這也需要相應的資源和策略支持。
- 軟件依賴和兼容性的挑戰：LMMOps可能依賴于特定的軟件庫或框架，而這些依賴可能會隨著時間的推移而發生變化，導致兼容性問題。不同的系統和環境可能對模型的部署和運行產生影響，需要確保在各種環境下的穩定性和性能。
- 團隊協作和溝通的挑戰：LMMOps往往涉及多個團隊和成員的協作，如何有效溝通和協調各個團隊的工作是一個重要挑戰。團隊成員可能具有不同的專業背景和技能水平，需要找到一種有效的方式來共享知識和經驗。
綜上所述，LMMOps面臨的挑戰涵蓋了技術、安全、資源、團隊協作等多個方面。為了克服這些挑戰，需要綜合考慮技術創新、團隊協作、數據安全和隱私保護等多個因素。
自OpenAI的ChatGPT發布以來，LLM是目前AI領域的熱門話題。這些深度學習模型可以生成人類語言輸出，使其成為會話AI、寫作助手和編程助手等任務的強大工具。隨著LLM在AI行業的普及，我們認為：
- 內置LLM關鍵技術棧，包括對開源社區模型的支持、直觀的 Prompt編排界面、高質量的RAG引擎、靈活的Agent框架，并同時提供支持應用構建、提示詞、發布的易用界面和API等。這為開發者節省了許多重復造輪子的時間，使其可以專注在創新和業務需求上。
- 更多理念融合，如后端即服務（Backend as Service）和 LLMOps的大語言模型應用開發平臺，使開發者可以快速搭建生產級的生成式AI應用。即使你是非技術人員，也能參與到 AI 應用的定義和數據運營過程中。
- 大語言模型與已有小模型工具的有機結合，是大模型應用落地的值得嘗試的方向。
- AI Agent，基于智能體編排多個工具完成復雜任務，將徹底改變人類使用計算機的方式，智能體有可能成為 LLM 應用程序架構的核心部分，甚至接管整個技術棧。
總體而言，LLM和LLMOps的興起代表了構建和維護AI產品的重大轉變。
參考文獻
[1].???https://zhuanlan.zhihu.com/p/682932255??
[2].???https://zhuanlan.zhihu.com/p/629589593??
[3].???https://mp.weixin.qq.com/s/-VUoKU3lKGi1TkV1c_-rxg??
[4].???https://zhuanlan.zhihu.com/p/645327750??
[5].???https://www.cnblogs.com/charlieroro/p/18051187??
[6].???https://blog.csdn.net/csdn1561168266/article/details/137406086??
[7].???https://cloud.tencent.com/developer/article/2301085??
[8].???https://zhuanlan.zhihu.com/p/631630717??
[9].???https://zhuanlan.zhihu.com/p/640725385??
[10].???https://dify.ai/zh??
[11].???https://python.langchain.com/docs/get_started/introduction/??
[12].???https://docs.flowiseai.com/??
[13].???https://docs.vllm.ai/en/latest/dev/kernel/paged_attention.html??
[14].???https://www.hugging-face.org/models/??
[15].ModelScope：??https://modelscope.cn/home??
[16].???https://www.honeyhive.ai/evaluation??
[17].???https://humanloop.com/??
[18].???https://arxiv.org/abs/2307.03109??
