出品 | 51CTO技術棧（微信號：blog51cto）
像ChatGPT、Claude.ai和phind這樣的聊天機器人非常有用，但可能并不總是希望的問題或敏感數據由外部應用程序處理。在平臺上尤其如此，在這些平臺上，你的互動可能會被人類審查，并以其他方式用于幫助訓練未來的模型。
一種解決方案是下載一個大型語言模型（LLM）并在自己的機器上運行它。這樣一來，外部公司就永遠無法訪問的數據。這也是嘗試一些新專業模型的一個快速選擇，如Meta最近宣布的Code Llama系列模型，這些模型經過了編碼調整，以及Seamless M4T，旨在實現文本到語音和語言翻譯。
運行自己的LLM聽起來可能很復雜，但有了正確的工具，它會出奇地容易。而且許多型號的硬件要求并沒有想象中那么瘋狂。我已經在兩個系統上測試了本文中提供的選項：一個是帶有英特爾i9處理器、64GB RAM和英偉達GeForce 12GB GPU（可能沒有參與運行該軟件的大部分工作）的戴爾PC，另一個是只有16GB RAM的M1芯片的Mac。
請注意，可能需要一點研究才能找到一個在的任務中運行良好并在桌面硬件上運行的模型。而且，很少有人能像你習慣的ChatGPT（尤其是GPT-4）或Claude.ai這樣的工具那樣好。命令行工具LLM的創建者Simon Willison在上個月的一次演示中認為，即使本地模型的響應是錯誤的，運行它也是值得的：
在你的筆記本電腦上運行的[一些]會產生瘋狂的幻覺——我認為這實際上是運行它們的一個很好的理由，因為在你的電腦上運行弱型號是了解這些東西如何工作及其局限性的一種更快的方式。
同樣值得注意的是，開源模型可能會不斷改進，一些行業觀察人士預計，它們與商業領袖之間的差距會縮小。
1.使用GPT4All運行本地聊天機器人
如果你想要一個在本地運行、不會在其他地方發送數據的聊天機器人，?GPT4All?提供了一個易于設置的桌面客戶端供下載。它包括在自己的系統上運行的型號的選項，還有Windows、macOS和Ubuntu的版本。
當第一次打開GPT4All桌面應用程序時，將看到下載大約10個（截至本文撰寫之時）可以在本地運行的模型的選項。其中包括Meta AI的模型Llama-2-7B聊天。如果你有API密鑰，你也可以設置OpenAI的GPT-3.5和GPT-4（如果你有訪問權限）供非本地使用。
GPT4All接口的模型下載部分一開始有點令人困惑。在我下載了幾個模型后，我仍然可以選擇全部下載。這表明下載不起作用。然而，當我檢查下載路徑時，模型就在那里。
圖片
GPT4All中模型下載接口的一部分。一旦我打開應用程序的使用部分，我下載的模型就會自動出現。
一旦建立了模型，聊天機器人界面本身就很干凈，易于使用。方便的選項包括將聊天復制到剪貼板并生成響應。
GPT4All聊天界面簡潔易用
還有一個新的測試版LocalDocs插件，可以讓你在本地與自己的文檔“聊天”。可以在中啟用Settings > Plugins 選項卡，將看到“LocalDocs插件（BETA）設置”標題和在特定文件夾路徑創建集合的選項。
該插件正在進行中，并且?文檔? 警告說，即使LLM可以訪問添加的專家信息，它仍可能“產生幻覺”（編造）。盡管如此，這是一個有趣的功能，隨著開源模型變得更加強大，它可能會得到改進。
除了聊天機器人應用程序，GPT4All還綁定了Python、Node和命令行界面（CLI）。還有一種服務器模式，可以讓你通過一個結構非常像OpenAI的HTTP API與本地LLM交互。目標是通過更改幾行代碼，讓你用本地LLM交換OpenAI的LLM。
2.命令行啟動LLM
Simon Willison的LLM是我見過的在自己的機器上本地下載和使用開源LLM的更簡單的方法之一。雖然確實需要安裝Python來運行它，但不應該接觸任何Python代碼。如果你在Mac電腦上使用Homebrew，只需使用：
brew install llm如果在Windows計算機上，請使用最喜歡的安裝Python庫的方式，例如：
pip install llmLLM默認使用OpenAI模型，但可以使用插件在本地運行其他模型。例如，如果安裝gpt4all插件，將可以從gpt4all訪問其他本地模型。還有用于llama、MLC項目和MPT-30B的插件，以及其他遠程模型。
在命令行上安裝一個插件，名稱為llm Install model：
llm install llm-gpt4all可以使用命令llm-models-list查看所有可用的型號——遠程和已安裝的型號，包括每種型號的簡要信息。
圖片
當要求LLM列出可用型號時顯示。
要將查詢發送到本地LLM，語法如下：
llm -m the-model-name "Your query"如何選擇正確的模型？可以前往?GPT4All主頁?并向下滾動到與GPT4All兼容的模型的模型資源管理器。falcon-q4_0選項是一款評級較高的相對較小的型號，具有允許商業使用的許可證，所以我從那里開始。
然后，我問了它一個類似于ChatGPT的問題，但沒有發出單獨的命令下載模型：
llm -m ggml-model-gpt4all-falcon-q4_0 "Tell me a joke about computer programming"這是LLM用戶體驗如此優雅的一點：如果本地系統上不存在GPT4All模型，LLM工具會在運行查詢之前自動為下載它。下載模型時，將在終端中看到進度條。
圖片
LLM自動下載了我在查詢中使用的模型
這里有一個笑話：“程序員為什么關掉電腦？因為他想看看它是否還在工作！”——但事實上，這個查詢確實起了作用。如果結果令人失望，那是因為模型性能或用戶提示不足，而不是LLM工具。
還可以為LLM中的模型設置別名，以便可以使用較短的名稱來引用它們：
llm aliases set falcon ggml-model-gpt4all-falcon-q4_0要查看所有可用的別名，請輸入：llm aliases。
這個?Meta的Llama模型的LLM插件?需要比GPT4All多一點的設置。閱讀上的詳細信息?LLM插件的GitHub回購。請注意，通用llama-2-7b-chat確實設法在我的工作Mac上運行了M1 Pro芯片，只有16GB的RAM。與為沒有GPU的小型機器優化的GPT4All型號相比，它運行得相當慢，在我更健壯的家用電腦上表現更好。
LLM還有其他功能，例如argument標志，使可以從以前的聊天中繼續，并能夠在Python腳本中使用它。9月初，該應用程序獲得了?用于生成文本嵌入的工具，可用于搜索相關文檔的文本含義的數字表示。可以在LLM網站上看到更多信息。Willison是流行的Python Django框架的聯合創建者，他希望社區中的其他人能為LLM生態系統貢獻更多插件。
3.桌面上調用模型：Ollama
Ollama是一種比LLM更容易下載和運行模型的方法。然而，該項目僅限于macOS和Linux，直到2月中旬，Windows的預覽版終于問世。我測試了Mac版本。
圖片
通過點擊安裝是一種優雅的體驗。盡管Ollama是一個命令行工具，但只有一個命令具有以下語法ollama run model-name名稱。與LLM一樣，如果模型還沒有在的系統上，它將自動下載。
可以在上查看可用型號的列表?https://ollama.ai/library，截至本文撰寫之時，它包括基于Llama的模型的幾個版本，如通用Llama 2、Code Llama、針對某些編程任務進行微調的DeepSE的CodeUp，以及針對回答醫學問題進行微調的meddlama2。
這個?Ollama GitHub repo's README 文件包括一些型號規格的有用列表和建議，“你應該至少有8GB的RAM來運行3B型號，16GB來運行7B型號，32GB來運行13B型號。”在我的16GB RAM Mac上，7B Code Llama的性能出奇地快。它將回答有關的問題?bash/zsh?shell命令以及Python和JavaScript等編程語言。
在Ollama終端窗口中運行Code Llama的外觀
盡管它是家族中最小的模型，但如果不完美地回答了一個R編碼問題，這會讓一些更大的模型感到困惑，那它還是很好的：“為ggplot2圖寫R代碼，其中的條形圖是鋼藍色的。”代碼是正確的，只是其中兩行代碼中有兩個額外的右括號，這很容易在我的IDE中找到。我懷疑更大的Code Llama本可以做得更好。
Ollama還有一些附加功能，例如?LangChain?集成和使用PrivateGPT運行的能力，除非檢查?GitHub repo的教程頁面。
如果你在Mac電腦上，想使用Code Llama，你可以在終端窗口中運行它，每次有問題時都會把它拉出來。我期待著在我的家用電腦上使用Ollama Windows版本。
4.與自己的文檔聊天：H2OGPT
H2O.ai?一段時間以來，該公司一直致力于自動化機器學習，因此很自然地進入了聊天LLM領域。它的一些工具最好由熟悉該領域的人使用，但安裝其測試版本的說明?h20GPT?聊天桌面應用程序快速而直接，即使對于機器學習新手來說也是如此。
你可以訪問web上的演示版本（顯然不是使用系統本地的LLM），網址：?gpt.h2o.ai。
本地LLaMa模型基于VS代碼文檔回答問題
無需添加自己的文件，就可以將該應用程序用作通用聊天機器人。或者，可以上傳一些文檔并詢問有關這些文件的問題。兼容的文件格式包括PDF、Excel、CSV、Word、文本、標記等。測試應用程序在我的16GB Mac上運行良好，盡管較小型號的結果無法與帶GPT-4的付費ChatGPT相比（一如既往，這是型號的函數，而不是應用程序的函數）。H2OGPT UI為知道自己在做什么的用戶提供了一個專家選項卡，其中包含許多配置選項。這為更有經驗的用戶提供了嘗試改進其結果的選項。
圖片
如果你想對流程進行更多控制，并為更多型號提供選項，請下載完整的應用程序。對于帶有GPU或僅帶有CPU的系統，有適用于Windows和macOS的一鍵安裝程序。請注意，我的Windows防病毒軟件對Windows版本不滿意，因為它沒有簽名。我熟悉H2O.ai的其他軟件，代碼在GitHub上也有，所以我愿意下載并安裝它。
Rob Mulla，現在在H2O.ai，發布了一個?YouTube視頻?關于在Linux上安裝該應用程序。盡管該視頻已經發布了幾個月，應用程序用戶界面似乎也發生了變化，但該視頻仍然有有用的信息，包括關于H2O.ai LLM的有用解釋。
5.輕松但緩慢的數據聊天：PrivateGPT
PrivateGPT?還設計用于讓使用自然語言查詢自己的文檔，并獲得生成的人工智能響應。此應用程序中的文檔可以包括幾十種不同的格式。README確保數據“100%私有，任何時候都不會有數據離開的執行環境。可以在沒有互聯網連接的情況下獲取文檔并提出問題！”
PrivateGPT的特點是腳本可以攝取數據文件，將其分割成塊，創建“embeddings”（文本含義的數字表示），并將這些嵌入存儲在本地Chroma矢量存儲中。當你提出問題時，該應用程序會搜索相關文檔，并將其發送給LLM以生成答案。
如果熟悉Python以及如何設置Python項目，可以克隆完整的PrivateGPT存儲庫并在本地運行它。
