無論是希望將AI大模型集成到業務流程中，還是尋求企業客戶服務自動化，亦或者是希望創建一個強大的個人學習工具。可能都需要考慮數據安全、靈活度以及更具有可控性的使用和開發基礎。值得考慮的一個方案是：將大模型（LLM）私有化并且創建一個好用的LLM WebUI系統。

下面，我們推薦七個出色的開源LLM WebUI 系統。

1.Open WebUI（Ollama WebUI）

https://github.com/open-webui/open-webui

Star：45.7K

開發語言：Python、TypeScript\Svelte

Open WebUI是一個可擴展、功能豐富且用戶友好的WebUI，旨在完全離線操作。它支持包括Ollama和OpenAI在內的各種LLM運行容器或者API。

產品特點：

• 直觀的界面：受ChatGPT啟發的用戶友好型聊天
• 響應式設計：在桌面和移動的上實現流暢的性能
• 輕松安裝：使用Docker/Kubernetes輕松安裝
• 主題定制：個性化與多個主題
• 高亮：增強代碼的可讀性
• Markdown LaTeX支持：全面的格式選項
• 本地RAG集成：使用#命令訪問聊天文檔
• RAG嵌入模型支持：選擇嵌入模型（Ollama/OpenAI）
• Web瀏覽：使用#命令集成網站
• 提示預設：使用/命令快速訪問
• RLHF注釋：人工反饋的速率消息
• 會話標記：對聊天進行分類，以便于參考
• 模型管理：下載、刪除和更新模型
• GGUF文件上傳：從GGUF文件創建Ollama模型
• 多模型支持：切換模型以獲得不同的響應
• 多模式支持：包括圖像交互
• 模型文件生成器：自定義角色和代理
• 多模型對話：同時利用多個模型
• 協作聊天：使用@ command分組模型對話
• 本地聊天共享：在用戶之間共享聊天鏈接
• Regeneration聊天歷史：訪問所有過去的互動
• 存檔導入/導出聊天：組織和傳輸聊天數據
• 語音輸入：自動發送語音輸入
• 可配置的TTS端點：自定義文本到語音
• 高級參數控制：調節溫度，系統提示
• 映像生成集成：本地API和DALL-E選項
• OpenAI API支持多種API：靈活集成
• API密鑰生成：簡化OpenAI庫使用
• 外部Ollama服務器連接：連接遠程實例
• Ollama負載平衡：分發請求以提高可靠性
• 多用戶管理：用于用戶監督的管理面板
• Webhook集成：新注冊的實時通知
• 模型白名單：用戶的受控訪問
• 可信電子郵件身份驗證：增強的安全層
• RBAC：基于角色的受限權限訪問
• 后端反向代理：安全的后端通信
• 多語言支持：i18n國際化
• 持續更新：定期的新功能和改進

2.Text Generation Webui

https://github.com/oobabooga/text-generation-webui

Star：40.5K

開發語言：Python

這是一個基于Gradio的Web UI，用于大語言模型的Web層。

產品特性：

• 在一個UI以及API中支持多個文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
• 兼容OpenAI的API。
• 使用Jinja2模板自動提示格式化。
• 三種聊天模式：instruct、chat-instruct、chat，其中chat-instruct有自動提示模板。
• 可在“聊天記錄”菜單之間的對話快速切換。
• 在默認、筆記本選項卡中生成自由格式的文本，而不限于聊天回合。
• 擁有多個采樣參數和生成選項，用于支持復雜的文本生成控制。
• 在UI中輕松切換不同型號，無需重新啟動。
• 簡單的LoRA微調工具。
• 安裝在一個獨立的installer_files目錄中，不會影響系統環境。
• 擴展支持，提供許多內置的或者用戶貢獻的擴展。

3.Anything LLM

https://github.com/Mintplex-Labs/anything-llm

Star：26.5K

開發語言：JavaScript

AnythingLLM是一個多功能的全棧AI應用程序，可以在與大型語言模型（LLM）聊天期間引用自己的文檔或內容作為上下文數據。它專為易用性而設計，提供了一個高度可配置的多用戶環境。用戶可以選擇集成商業的或者開源的LLM，選擇向量數據庫，并管理訪問權限。

該應用程序將文檔組織到“工作區”中，這些工作區是容器化的單元，可以在不同的線程之間保持上下文的隔離。

工作區可以共享文檔，但也能夠為一些重點對話維護隔離的上下文。AnythingLLM可運行在Mac、Windows或者Linux桌面系統上，支持本地或遠程執行，使其成為構建自定義、私人ChatGPT的強大工具。

產品特征：

• 支持AI Agent定義
• 支持多種模型（包括封閉和開源LLM！）
• 支持多用戶實例和Docker版本
• 可在工作空間內安裝代理（瀏覽網頁、運行代碼等）
• 提供適用于嵌入網站的聊天組件
• 支持多種文檔類型（PDF，TXT，DOCX等）
• 簡單的聊天用戶界面、拖放功能和明確的使用指南。
• 支持100%云部署。
• 可以與所有流行的閉源和開源LLM提供商對接。
• 與其他聊天界面相比，可以用于管理非常大的文檔。
• 提供用于自定義集成的API

4.LibreChat

https://github.com/danny-avila/LibreChat

Star：18.9K

開發語言：TypeScript、JavaScript

LibreChat可以作為ChatGPT的私人替代品，在您自己的服務器上運行。

產品特征：

• 支持與ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
• 智能選型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
• 兩者兼容遠程和本地AI服務：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
• 生成式UI，代碼工件：在聊天中創建React、HTML代碼和Mermaid圖表
• 創建、保存和共享自定義預設
• 在AI端點和預設之間切換，聊天中
• 使用對話分支編輯、重新提交和繼續消息
• 用于高級上下文控制的會話
• 多模式聊天：可通過OpenAI Assistant API?；非OpenAI代理在積極開發中；使用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision軟件上傳和分析圖像；使用自定義端點，OpenAI，Azure，Anthropic，Google與文件聊天。???；具有文件、代碼解釋器、工具和API操作的高級代理??
• 多語言用戶界面：English，中文，Deutsch，Espa?ol，Fran?ais，意大利語，Polski，巴西葡萄牙語；Русский, 日本語, Svenska, ???, Ti?ng Vi?t, 繁體中文, ???????, Türk?e, Nederlands, ?????
• 可定制的下拉界面：適應高級用戶和新手
• 驗證您的電子郵件以確保安全訪問
• 語音到文本和文本到語音的魔術免提聊天：自動發送和播放音頻；支持OpenAI、Azure OpenAI和Elevenlabs
• 從LibreChat，ChatGPT，Chatbot UI導入對話
• 導出對話為截圖，markdown，文本，json
• 搜索所有消息/對話
• 插件，包括Web訪問、使用DALL-E-3生成圖像等
• 使用審核和令牌支出工具的多用戶安全身份驗證
• ?配置代理，反向代理，Docker，和許多部署選項：完全本地使用或部署在云上

5.Web LLM

https://github.com/mlc-ai/web-llm

Star：13.6K

開發語言：TypeScript

WebLLM是一個高性能的瀏覽器內LLM推理引擎，通過硬件加速將語言模型推理直接帶到Web瀏覽器上。一切都在瀏覽器內運行，沒有服務器支持，并通過WebGPU加速。WebLLM完全兼容OpenAI API。也就是說，可以在本地任何開源模型上使用相同的OpenAI API，其功能包括流式傳輸，JSON模式，函數調用（function-calling，簡寫）等。

產品特征：

• 瀏覽器內推理：WebLLM是一個高性能的瀏覽器內語言模型推理引擎，它利用WebGPU進行硬件加速，直接在Web瀏覽器內實現強大的LLM操作，而無需服務器端處理。
• 兼容OpenAI API：使用OpenAI API將您的應用與WebLLM無縫集成，并提供流、JSON模式、logit級別控制、種子等功能。
• 結構化JSON生成：WebLLM支持最先進的JSON模式結構化生成，在模型庫的WebAssembly部分實現，以獲得最佳性能。檢查HuggingFace上的WebLLM JSON Playground，嘗試使用自定義JSON模式生成JSON輸出。
• 豐富的模型支持：WebLLM支持一系列原生大模型，包括：Llama 3，Phi 3，Gemma，Mistral，Qwen（通義問）等，使其成為各種AI任務的通用工具。有關完整的支持型號列表，請選中模型。
• 自定義模型集成：輕松集成和部署MLC格式的自定義模型，使您能夠根據特定需求和場景調整WebLLM，增強模型部署的靈活性。
• 即插即用集成：使用NPM和Yarn等包管理器或直接通過CDN將WebLLM輕松集成到您的項目中，并提供全面的示例和用于連接UI組件的模塊化設計。
• 流式傳輸與實時交互：支持流式聊天完成，允許實時輸出生成，增強了聊天機器人和虛擬助手等交互式應用程序。
• 支持Web Worker& Service Worker：通過將計算卸載到獨立的工作線程或服務工作線程，優化UI性能并有效管理模型的生命周期。
• 支持Chrome擴展：使用WebLLM通過自定義Chrome擴展程序擴展Web瀏覽器的功能，并提供構建基本和高級擴展程序的示例。

6.OpenLLM

https://github.com/bentoml/OpenLLM

Star：10K

開發語言：Python

OpenLLM是一個可以在云中運行開源大語言模型（LLM）的工具，如：Llama，Qwen和Phi等，也可以兼容OpenAI的API接入。它支持使用Docker、Kubernetes和BentoCloud簡化模型的部署過程。

OpenLLM支持多種模型，并提供友好的用戶界面，提供內置的聊天UI。它還可以與BentoML集成，用于企業級AI推理和部署。此外，用戶可以將模型貢獻到其存儲庫中，或者在自己的基礎設施上部署自定義模型。

使用以下命令進行安裝：

pip install openllm  # or pip3 install openllm
openllm hello

7.LoLLMs

https://github.com/ParisNeo/lollms-webui

Star：4.3K

開發語言：JavaScript/Vue 、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）是一個多功能一體化平臺，可訪問各種任務類型的AI模型，例如：寫作、編碼、圖像生成、音樂創作等。它支持500多個專家模型和2500個跨不同領域的微調模型。

用戶可以選擇根據特定需求量身定制的模型，無論是編碼幫助、醫療建議、法律的指導、創意故事還是娛樂。

該平臺的設計考慮到了易用性，提供了一個友好的用戶界面，具有明亮和暗黑模式。LoLLMS可以用于實現增強電子郵件、代碼調試、解決問題，甚至提供如笑聲機器人、創意故事生成器、和個性化音樂生成之類的有趣功能。

它將生產力工具和娛樂結合在一個界面中，使其成為滿足各種專業需求的多功能工具。

產品特征：

• 為您的任務選擇您喜歡模型和個性化配置
• 增強您的電子郵件、論文、代碼調試、思想組織等
• 探索各種功能，如：搜索、數據組織、圖像生成和音樂生成
• 易于使用的用戶界面，具有亮暗模式選項
• 與GitHub存儲庫集成，便于訪問
• 可自定義向導信息
• 生成的答案的拇指向上/向下評級
• 復制、編輯和刪除郵件
• 用于討論的本地數據庫存儲
• 搜索、導出和刪除多個討論
• 支持基于穩定擴散的圖像/視頻生成
• 支持基于musicgen的音樂生成
• 通過Lollms節點和花瓣支持多代對等網絡。
• 支持Docker、conda和手動虛擬環境設置
• 支持LM Studio作為后端
• 支持Ollama作為后端
• 支持vllm作為后端
• 支持根據任務快速路由到對應的模型