LiteLLM 允許開發(fā)者像調(diào)用 OpenAI API 那樣集成各種大語言模型（LLM），并支持故障轉(zhuǎn)移、預(yù)算控制、速率限制以及對API調(diào)用的實時監(jiān)控。

不同提供商發(fā)布的大語言模型（LLM）層出不窮——包括 Anthropic、谷歌、Meta、微軟、英偉達、OpenAI 等等——這為開發(fā)者提供了豐富的選擇，但也令復(fù)雜性一路攀升。每家提供商都有其獨特的API特性和響應(yīng)格式，使得在同一個應(yīng)用中切換模型或支持多個后端變得愈發(fā)困難。作為一個開源項目，LiteLLM提供統(tǒng)一接口（和網(wǎng)關(guān)）以直接應(yīng)對這種碎片化問題，可使用單一且一致的格式調(diào)用超百種大模型API。

本質(zhì)上，LiteLLM就像是大模型的“萬能遙控器”，讓開發(fā)者可以像調(diào)用 OpenAI API那樣整合各種不同模型，無需為底層提供商的差異分神。

自發(fā)布以來，LiteLLM在AI開發(fā)者社區(qū)迅速獲得關(guān)注。該項目的GitHub倉庫（由Y Combinator支持的BerriAI團隊維護）已獲得超過20K 顆星和2600次分叉。之所以人氣爆棚，部分原因在于它能夠切實解決需求。Netflix、Lemonade和Rocket Money等組織都已采用LiteLLM，在最小開銷下實現(xiàn)對新模型的即時訪問。通過推動開發(fā)者與大模型提供商間交互方式的標(biāo)準(zhǔn)化，LiteLLM承諾加快最新模型的集成速度，并在整個不斷演進的大模型生態(tài)中提供順暢體驗。

本文將探討LiteLLM的起源和目標(biāo)，包括其核心功能和關(guān)鍵特性，并通過實際示例展示它如何簡化大模型使用。我們還將介紹面向商業(yè)用途的LiteLLM企業(yè)版，并將其與其他同類方案進行比較。

項目綜述——LiteLLM

LiteLLM 本質(zhì)上是一種通用的大模型API適配器，允許開發(fā)者通過標(biāo)準(zhǔn)化接口與各類提供商進行交互。該項目支持多家主流大模型提供商，包括Anthropic、AWS Bedrock、AWS SageMaker、Azure OpenAI、DeepSeek、Google Vertex AI、OpenAI以及Ollama。

該項目圍繞兩個核心組件構(gòu)建：Python SDK和代理服務(wù)器。Python SDK為開發(fā)者提供了一個易于使用的庫，用于將多種大模型整合到他們的應(yīng)用程序中。與此同時，代理服務(wù)器作為生產(chǎn)級網(wǎng)關(guān)，主要面向大規(guī)模大模型管理用例。它提供了集中式的成本跟蹤、訪問控制和對API調(diào)用的實時監(jiān)控。

LiteLLM的設(shè)計初衷在于簡化多模型應(yīng)用程序的開發(fā)過程，并減少平臺團隊在管理多個模型提供商時所面臨的摩擦。根據(jù)項目維護者的說法，LiteLLM簡化了模型訪問、支出追蹤以及跨百余個大語言模型的故障轉(zhuǎn)移機制。

從實踐角度來看，LiteLLM旨在為開發(fā)團隊節(jié)省時間和精力。與其為每個新的模型API編寫定制化的集成代碼，或者等待廠商發(fā)布特定SDK，開發(fā)者可以利用LiteLLM提供的統(tǒng)一SDK和代理服務(wù)器實現(xiàn)即刻兼容。

LiteLLM解決了什么問題？

當(dāng)開發(fā)者試圖將多個大模型集成到應(yīng)用程序中時，往往面臨重大挑戰(zhàn)。其中最主要的問題之一就是API異構(gòu)性，因為不同提供商具有不同的輸入/輸出格式和認(rèn)證機制，這可能使開發(fā)過程變得復(fù)雜。此外，為了應(yīng)對提供商宕機或請求頻率限制，故障轉(zhuǎn)移機制中需要編寫大量定制代碼，而這往往既易出錯又相當(dāng)耗時。

另一個常見的痛點是成本透明度不足。當(dāng)多個大模型被用于不同項目或團隊時，準(zhǔn)確追蹤支出變得更為困難。如果沒有適當(dāng)?shù)墓ぞ撸M織可能會超出預(yù)算，或無法有效優(yōu)化成本。

LiteLLM 通過提供統(tǒng)一API來標(biāo)準(zhǔn)化所有受支持提供商之間的交互，順利解決了這些問題。此外，它還內(nèi)置有失敗請求自動重試和實時成本分析等功能，使開發(fā)者能夠?qū)Ｗ⒂跇?gòu)建應(yīng)用程序，而不必分神管理基礎(chǔ)設(shè)施。

深入了解LiteLLM

LiteLLM的設(shè)計既靈活又強大。它的核心能力在于無論選擇哪家基座模型提供商，都能將所有API調(diào)用轉(zhuǎn)換為OpenAI熟悉的completion()語法。這意味著開發(fā)者可以在不大幅修改代碼庫的前提下輕松地在不同模型之間切換。

例如，一位開發(fā)者希望在某個任務(wù)中使用Anthropic Claude 3而不是 OpenAI GPT-4，那么他只需在請求中指定模型名稱即可。LiteLLM會接手處理其余事項，包括身份驗證和格式轉(zhuǎn)換。

除了統(tǒng)一API，LiteLLM還提供多項高級功能，如動態(tài)故障轉(zhuǎn)移和結(jié)構(gòu)化輸出。動態(tài)故障轉(zhuǎn)移允許請求在主模型故障或不可用時自動路由到備用模型上，確保即使在提供商宕機期間也能保持高可用性。結(jié)構(gòu)化輸出則允許開發(fā)者使用Pydantic模式驗證響應(yīng)，從而減少下游處理中的錯誤。

以下是如何使用LiteLLM以O(shè)penAI格式調(diào)用Anthropic Claude 3：

from litellm import completion
response = completion(
 model="anthropic/claude-3",
 messages=[{"role": "user", "content": "Explain quantum computing"}]
)
print(response.choices[0].message.content) # Outputs Claude's response

對于生產(chǎn)環(huán)境，LiteLLM代理服務(wù)器可被部署為集中式網(wǎng)關(guān)。這允許多個團隊或應(yīng)用程序共享對大模型的訪問權(quán)限，同時仍能控制成本和用量上限：

litellm --model openai/gpt-4 --api_key sk-xyz

如此一來，客戶端就可以使用標(biāo)準(zhǔn)OpenAI庫與代理服務(wù)器交互：

import openai
client = openai.OpenAI(base_url="http://localhost:8000")
client.chat.completions.create(model="gpt-4", messages=[...])

LiteLLM關(guān)鍵用例

LiteLLM 提供多項適合企業(yè)場景的功能。其中最受歡迎的應(yīng)用之一是多云大模型編排。企業(yè)通常會使用多家提供商來確保冗余或基于特定任務(wù)優(yōu)化成本。借助LiteLLM，開發(fā)者可以無縫地在不同提供商之間分配請求：

response = completion(
 model=["azure/gpt-4", "aws-bedrock/claude-3"],
 messages=[{"role": "user", "content": "What are black holes?"}]
)

對企業(yè)而言，另一項關(guān)鍵功能是成本治理。LiteLLM通過代理服務(wù)器儀表板提供實時成本分析。組織可以為不同團隊或項目設(shè)置月度預(yù)算，并監(jiān)控所有受支持模型的支出情況。這種級別的透明度有助于防止預(yù)算超支并確保資源得到高效配置。

審計合規(guī)性也是LiteLLM的強項之一。代理服務(wù)器會安全記錄所有輸入/輸出元數(shù)據(jù)，幫助組織輕松滿足監(jiān)管要求或開展內(nèi)部審查。

總結(jié)

LiteLLM 不僅僅是開源項目，更是一種用于對多提供商大模型部署進行規(guī)模化部署的全面解決方案。通過簡化API交互并添加諸如動態(tài)故障轉(zhuǎn)移和成本分析等強大功能，LiteLLM使開發(fā)者能夠構(gòu)建穩(wěn)健的生成式AI應(yīng)用程序，而不必分神于基礎(chǔ)設(shè)施的管理復(fù)雜性。

LiteLLM將Python SDK與代理服務(wù)器的優(yōu)勢相結(jié)合，使其既適合小型團隊進行AI實驗，又適合運行關(guān)鍵任務(wù)負(fù)載的大型企業(yè)。憑借活躍的社區(qū)支持和BerriAI團隊的持續(xù)更新，LiteLLM有望在未來幾年內(nèi)成為統(tǒng)一大模型接入的首選方案。

原文標(biāo)題：??LiteLLM: An open-source gateway for unified LLM access??，作者：Janakiram MSV