七個用于運行 LLM 的優(yōu)秀開源 WebUI

作者：zone7 2024-11-22 15:59:00

為了將大模型（LLM）私有化并且創(chuàng)建一個好用的LLM WebUI系統(tǒng)，本文我們推薦七個出色的開源LLM WebUI 系統(tǒng)。

無論是希望將AI大模型集成到業(yè)務(wù)流程中，還是尋求企業(yè)客戶服務(wù)自動化，亦或者是希望創(chuàng)建一個強大的個人學(xué)習(xí)工具。可能都需要考慮數(shù)據(jù)安全、靈活度以及更具有可控性的使用和開發(fā)基礎(chǔ)。值得考慮的一個方案是：將大模型（LLM）私有化并且創(chuàng)建一個好用的LLM WebUI系統(tǒng)。

下面，我們推薦七個出色的開源LLM WebUI 系統(tǒng)。

1.Open WebUI（Ollama WebUI）

https://github.com/open-webui/open-webui

Star：45.7K

開發(fā)語言：Python、TypeScript\Svelte

Open WebUI是一個可擴展、功能豐富且用戶友好的WebUI，旨在完全離線操作。它支持包括Ollama和OpenAI在內(nèi)的各種LLM運行容器或者API。

產(chǎn)品特點：

直觀的界面：受ChatGPT啟發(fā)的用戶友好型聊天
響應(yīng)式設(shè)計：在桌面和移動的上實現(xiàn)流暢的性能
輕松安裝：使用Docker/Kubernetes輕松安裝
主題定制：個性化與多個主題
高亮：增強代碼的可讀性
Markdown LaTeX支持：全面的格式選項
本地RAG集成：使用#命令訪問聊天文檔
RAG嵌入模型支持：選擇嵌入模型（Ollama/OpenAI）
Web瀏覽：使用#命令集成網(wǎng)站
提示預(yù)設(shè)：使用/命令快速訪問
RLHF注釋：人工反饋的速率消息
會話標(biāo)記：對聊天進行分類，以便于參考
模型管理：下載、刪除和更新模型
GGUF文件上傳：從GGUF文件創(chuàng)建Ollama模型
多模型支持：切換模型以獲得不同的響應(yīng)
多模式支持：包括圖像交互
模型文件生成器：自定義角色和代理
多模型對話：同時利用多個模型
協(xié)作聊天：使用@ command分組模型對話
本地聊天共享：在用戶之間共享聊天鏈接
Regeneration聊天歷史：訪問所有過去的互動
存檔導(dǎo)入/導(dǎo)出聊天：組織和傳輸聊天數(shù)據(jù)
語音輸入：自動發(fā)送語音輸入
可配置的TTS端點：自定義文本到語音
高級參數(shù)控制：調(diào)節(jié)溫度，系統(tǒng)提示
映像生成集成：本地API和DALL-E選項
OpenAI API支持多種API：靈活集成
API密鑰生成：簡化OpenAI庫使用
外部Ollama服務(wù)器連接：連接遠(yuǎn)程實例
Ollama負(fù)載平衡：分發(fā)請求以提高可靠性
多用戶管理：用于用戶監(jiān)督的管理面板
Webhook集成：新注冊的實時通知
模型白名單：用戶的受控訪問
可信電子郵件身份驗證：增強的安全層
RBAC：基于角色的受限權(quán)限訪問
后端反向代理：安全的后端通信
多語言支持：i18n國際化
持續(xù)更新：定期的新功能和改進

2.Text Generation Webui

https://github.com/oobabooga/text-generation-webui

Star：40.5K

開發(fā)語言：Python

這是一個基于Gradio的Web UI，用于大語言模型的Web層。

產(chǎn)品特性：

在一個UI以及API中支持多個文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
兼容OpenAI的API。
使用Jinja2模板自動提示格式化。
三種聊天模式：instruct、chat-instruct、chat，其中chat-instruct有自動提示模板。
可在“聊天記錄”菜單之間的對話快速切換。
在默認(rèn)、筆記本選項卡中生成自由格式的文本，而不限于聊天回合。
擁有多個采樣參數(shù)和生成選項，用于支持復(fù)雜的文本生成控制。
在UI中輕松切換不同型號，無需重新啟動。
簡單的LoRA微調(diào)工具。
安裝在一個獨立的installer_files目錄中，不會影響系統(tǒng)環(huán)境。
擴展支持，提供許多內(nèi)置的或者用戶貢獻的擴展。

3.Anything LLM

https://github.com/Mintplex-Labs/anything-llm

Star：26.5K

開發(fā)語言：JavaScript

AnythingLLM是一個多功能的全棧AI應(yīng)用程序，可以在與大型語言模型（LLM）聊天期間引用自己的文檔或內(nèi)容作為上下文數(shù)據(jù)。它專為易用性而設(shè)計，提供了一個高度可配置的多用戶環(huán)境。用戶可以選擇集成商業(yè)的或者開源的LLM，選擇向量數(shù)據(jù)庫，并管理訪問權(quán)限。

該應(yīng)用程序?qū)⑽臋n組織到“工作區(qū)”中，這些工作區(qū)是容器化的單元，可以在不同的線程之間保持上下文的隔離。

工作區(qū)可以共享文檔，但也能夠為一些重點對話維護隔離的上下文。AnythingLLM可運行在Mac、Windows或者Linux桌面系統(tǒng)上，支持本地或遠(yuǎn)程執(zhí)行，使其成為構(gòu)建自定義、私人ChatGPT的強大工具。

產(chǎn)品特征：

支持AI Agent定義
支持多種模型（包括封閉和開源LLM！）
支持多用戶實例和Docker版本
可在工作空間內(nèi)安裝代理（瀏覽網(wǎng)頁、運行代碼等）
提供適用于嵌入網(wǎng)站的聊天組件
支持多種文檔類型（PDF，TXT，DOCX等）
簡單的聊天用戶界面、拖放功能和明確的使用指南。
支持100%云部署。
可以與所有流行的閉源和開源LLM提供商對接。
與其他聊天界面相比，可以用于管理非常大的文檔。
提供用于自定義集成的API

4.LibreChat

https://github.com/danny-avila/LibreChat

Star：18.9K

開發(fā)語言：TypeScript、JavaScript

LibreChat可以作為ChatGPT的私人替代品，在您自己的服務(wù)器上運行。

產(chǎn)品特征：

支持與ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
智能選型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
兩者兼容遠(yuǎn)程和本地AI服務(wù)：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
生成式UI，代碼工件：在聊天中創(chuàng)建React、HTML代碼和Mermaid圖表
創(chuàng)建、保存和共享自定義預(yù)設(shè)
在AI端點和預(yù)設(shè)之間切換，聊天中
使用對話分支編輯、重新提交和繼續(xù)消息
用于高級上下文控制的會話
多模式聊天：可通過OpenAI Assistant API?；非OpenAI代理在積極開發(fā)中；使用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision軟件上傳和分析圖像；使用自定義端點，OpenAI，Azure，Anthropic，Google與文件聊天。???；具有文件、代碼解釋器、工具和API操作的高級代理??
多語言用戶界面：English，中文，Deutsch，Espa?ol，F(xiàn)ran?ais，意大利語，Polski，巴西葡萄牙語；Русский, 日本語, Svenska, ???, Ti?ng Vi?t, 繁體中文, ???????, Türk?e, Nederlands, ?????
可定制的下拉界面：適應(yīng)高級用戶和新手
驗證您的電子郵件以確保安全訪問
語音到文本和文本到語音的魔術(shù)免提聊天：自動發(fā)送和播放音頻；支持OpenAI、Azure OpenAI和Elevenlabs
從LibreChat，ChatGPT，Chatbot UI導(dǎo)入對話
導(dǎo)出對話為截圖，markdown，文本，json
搜索所有消息/對話
插件，包括Web訪問、使用DALL-E-3生成圖像等
使用審核和令牌支出工具的多用戶安全身份驗證
?配置代理，反向代理，Docker，和許多部署選項：完全本地使用或部署在云上

5.Web LLM

https://github.com/mlc-ai/web-llm

Star：13.6K

開發(fā)語言：TypeScript

WebLLM是一個高性能的瀏覽器內(nèi)LLM推理引擎，通過硬件加速將語言模型推理直接帶到Web瀏覽器上。一切都在瀏覽器內(nèi)運行，沒有服務(wù)器支持，并通過WebGPU加速。WebLLM完全兼容OpenAI API。也就是說，可以在本地任何開源模型上使用相同的OpenAI API，其功能包括流式傳輸，JSON模式，函數(shù)調(diào)用（function-calling，簡寫）等。

產(chǎn)品特征：

瀏覽器內(nèi)推理：WebLLM是一個高性能的瀏覽器內(nèi)語言模型推理引擎，它利用WebGPU進行硬件加速，直接在Web瀏覽器內(nèi)實現(xiàn)強大的LLM操作，而無需服務(wù)器端處理。
兼容OpenAI API：使用OpenAI API將您的應(yīng)用與WebLLM無縫集成，并提供流、JSON模式、logit級別控制、種子等功能。
結(jié)構(gòu)化JSON生成：WebLLM支持最先進的JSON模式結(jié)構(gòu)化生成，在模型庫的WebAssembly部分實現(xiàn)，以獲得最佳性能。檢查HuggingFace上的WebLLM JSON Playground，嘗試使用自定義JSON模式生成JSON輸出。
豐富的模型支持：WebLLM支持一系列原生大模型，包括：Llama 3，Phi 3，Gemma，Mistral，Qwen（通義問）等，使其成為各種AI任務(wù)的通用工具。有關(guān)完整的支持型號列表，請選中模型。
自定義模型集成：輕松集成和部署MLC格式的自定義模型，使您能夠根據(jù)特定需求和場景調(diào)整WebLLM，增強模型部署的靈活性。
即插即用集成：使用NPM和Yarn等包管理器或直接通過CDN將WebLLM輕松集成到您的項目中，并提供全面的示例和用于連接UI組件的模塊化設(shè)計。
流式傳輸與實時交互：支持流式聊天完成，允許實時輸出生成，增強了聊天機器人和虛擬助手等交互式應(yīng)用程序。
支持Web Worker& Service Worker：通過將計算卸載到獨立的工作線程或服務(wù)工作線程，優(yōu)化UI性能并有效管理模型的生命周期。
支持Chrome擴展：使用WebLLM通過自定義Chrome擴展程序擴展Web瀏覽器的功能，并提供構(gòu)建基本和高級擴展程序的示例。

6.OpenLLM

https://github.com/bentoml/OpenLLM

Star：10K

開發(fā)語言：Python

OpenLLM是一個可以在云中運行開源大語言模型（LLM）的工具，如：Llama，Qwen和Phi等，也可以兼容OpenAI的API接入。它支持使用Docker、Kubernetes和BentoCloud簡化模型的部署過程。

OpenLLM支持多種模型，并提供友好的用戶界面，提供內(nèi)置的聊天UI。它還可以與BentoML集成，用于企業(yè)級AI推理和部署。此外，用戶可以將模型貢獻到其存儲庫中，或者在自己的基礎(chǔ)設(shè)施上部署自定義模型。

使用以下命令進行安裝：

pip install openllm  # or pip3 install openllm
openllm hello

7.LoLLMs

https://github.com/ParisNeo/lollms-webui

Star：4.3K

開發(fā)語言：JavaScript/Vue 、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）是一個多功能一體化平臺，可訪問各種任務(wù)類型的AI模型，例如：寫作、編碼、圖像生成、音樂創(chuàng)作等。它支持500多個專家模型和2500個跨不同領(lǐng)域的微調(diào)模型。

用戶可以選擇根據(jù)特定需求量身定制的模型，無論是編碼幫助、醫(yī)療建議、法律的指導(dǎo)、創(chuàng)意故事還是娛樂。

該平臺的設(shè)計考慮到了易用性，提供了一個友好的用戶界面，具有明亮和暗黑模式。LoLLMS可以用于實現(xiàn)增強電子郵件、代碼調(diào)試、解決問題，甚至提供如笑聲機器人、創(chuàng)意故事生成器、和個性化音樂生成之類的有趣功能。

它將生產(chǎn)力工具和娛樂結(jié)合在一個界面中，使其成為滿足各種專業(yè)需求的多功能工具。

產(chǎn)品特征：

為您的任務(wù)選擇您喜歡模型和個性化配置
增強您的電子郵件、論文、代碼調(diào)試、思想組織等
探索各種功能，如：搜索、數(shù)據(jù)組織、圖像生成和音樂生成
易于使用的用戶界面，具有亮暗模式選項
與GitHub存儲庫集成，便于訪問
可自定義向?qū)畔?/li>
生成的答案的拇指向上/向下評級
復(fù)制、編輯和刪除郵件
用于討論的本地數(shù)據(jù)庫存儲
搜索、導(dǎo)出和刪除多個討論
支持基于穩(wěn)定擴散的圖像/視頻生成
支持基于musicgen的音樂生成
通過Lollms節(jié)點和花瓣支持多代對等網(wǎng)絡(luò)。
支持Docker、conda和手動虛擬環(huán)境設(shè)置
支持LM Studio作為后端
支持Ollama作為后端
支持vllm作為后端
支持根據(jù)任務(wù)快速路由到對應(yīng)的模型

責(zé)任編輯：趙寧寧來源： andflow

LLM 開源 AI