用開源框架Chipper解鎖本地AI：無需云或API密鑰即可構(gòu)建RAG應(yīng)用 原創(chuàng)
檢索增強生成（RAG）將檢索技術(shù)與生成模型相結(jié)合，徹底顛覆了我們與AI模型的交互方式。但從具體實現(xiàn)來看，我們該如何在本地構(gòu)建RAG應(yīng)用，同時擺脫對API密鑰或者云設(shè)施的依賴？
這里要請出今天的主角：開源框架Chipper。無需單獨處理文檔分塊、向量數(shù)據(jù)庫、大模型集成和UI設(shè)置，Chipper將幫助用戶在幾分鐘內(nèi)在本地機器上建立起獨立的RAG系統(tǒng)。
下面我們將具體介紹：
- RAG架構(gòu)的工作原理
- 如何使用Chipper構(gòu)建本地RAG應(yīng)用程序
- 對Chipper進(jìn)行自定義/優(yōu)化以獲取更佳性能
- 真實用例：建立法律文檔分析器
通過Chipper理解RAG
讓我們首先對檢索增強生成（RAG）管道進(jìn)行分析，再探討Chipper如何簡化這一切：
文檔提取與分塊
- Chipper會自動將文檔拆分成有意義的塊（以句子或段落為單位），以便更好進(jìn)行檢索；
- 用戶可針對不同用例對塊大小進(jìn)行定制。
嵌入與向量化
- 使用預(yù)先訓(xùn)練的模型將各文檔塊轉(zhuǎn)換為向量嵌入；
- Chipper使用Facebook AI相似性搜索（FAISS）有效存儲并索引這些嵌入。
檢索機制
- 當(dāng)用戶查詢時，Chipper會在FAISS中搜索類似的文檔塊；
- 將相關(guān)度最高的部分發(fā)送至大模型以生成響應(yīng)。
大模型集成與查詢處理
- Chipper充當(dāng)Ollama代理，將檢索到的文檔內(nèi)容作為上下文發(fā)送至大模型。
步驟一：安裝并配置Ollama（大模型運行時）
由于Chipper需要配合本地大模型才能運行，因此這里使用輕量級大模型運行時Ollama。
1. 安裝Ollama
macOS平臺(通過Homebrew)
brew install ollamaLinux平臺
curl -fsSL https://ollama.ai/install.sh | shWindows平臺
從Ollama官方網(wǎng)站處??下載?并安裝。
2. 檢查Ollama是否正確安裝
檢查Ollama是否正確安裝：
ollama --version若Ollama未運行，請手動啟動：
ollama serve
3. 下載Phi-4模型（或其他模型）
Chipper可通過Ollama使用本地大模型。若未找到模型，它會自動下載Phi-4。
要手動拉取 Phi-4, 運行以下命令：
ollama pull phi4
或者，你也可使用Mistral 7B（更強大的模型）：
ollama pull mistral
4. 配置Ollama以使用特定模型
若你希望手動設(shè)置Chipper要使用的模型，請編輯：
nano services/api/.env找到此行并將其修改為你要使用的模型：
OLLAMA_MODEL=phi4保存并退出（Ctrl+X、Y、回車）。
步驟二：安裝Chipper
1. 克隆Chipper repo
git clone git@github.com:TilmanGriesel/chipper.git
cd chipper2. 使用Docker啟動Chipper
Docker容器中打包有Chipper，從而大大簡化設(shè)置過程。
運行以下命令即可啟動Chipper：
./run.sh up
此命令將：
- 下載并構(gòu)建所有必需服務(wù)；
- 啟動Chipper的處理服務(wù)；
- 連接至本地大模型（通過Ollama）。
要停止Chipper：
./run.sh down注意：此步驟可能需要一些時間，Docker會下載所有必需依賴項。
步驟三：文檔索引與查詢
1. 在Chipper中加載文檔
Chipper允許用戶添加文檔以供檢索。
mkdir my_docs
mv research_paper.pdf my_docs/現(xiàn)在進(jìn)行索引：
chipper ingest my_docs/此命令將：
- 對文檔分塊；
- 生成向量嵌入；
- 將其存儲在FAISS或CHromaDB中。
2. 運行查詢
索引完成之后，你可以查詢文檔：
./run.sh cli
Shell
YOU: "What are the key takeaways from the research paper?"Chipper會檢索相關(guān)度最高的文檔塊，并將其發(fā)送至本地大模型（通過Ollama）以生成響應(yīng)。
步驟四：將Chipper作為本地AI助手運行
1. 在網(wǎng)絡(luò)瀏覽器中啟動Chipper
在Chipper開始運行后，你可以通過網(wǎng)絡(luò)瀏覽器與之交互。請按以下步驟操作：
（1）打開終端以確保Chipper正在運行：
./run.sh up若Chipper已經(jīng)在運行，你應(yīng)該看到相應(yīng)的活動狀態(tài)日志。
（2）打開瀏覽器并導(dǎo)航至：
這將啟動Chipper UI，你可在其中與RAG應(yīng)用程序進(jìn)行交互。
（3）在此Web UI中，輸入提示詞并開始查詢索引文檔，或者測試其他AI功能。
2. 在命令行中運行Chipper
要在終端中啟動交互式聊天會話，使用以下命令：
./run.sh cli示例：
總結(jié)
到這里，我們已經(jīng)設(shè)置了Chipper與Ollama，構(gòu)建了一個由RAG驅(qū)動的本地AI助手，并嘗試通過命令行和瀏覽器與之交互。而且整個過程完全在私有機器上運行，不依賴云端設(shè)施。這將有效保障隱私、速度、成本效益，讓你對AI工作流程擁有全面控制。
- 無需API密鑰，完全離線運行。
- 支持模型自定義，可使用Phi-4、Mistral或Llama 3。
- 支持網(wǎng)頁抓取與音頻轉(zhuǎn)錄。
- 針對研究、法律及企業(yè)用例中的RAG應(yīng)用程序進(jìn)行了優(yōu)化。
其他用途
以此為基礎(chǔ)，大家還可以探索更多其他用途：
- 嘗試調(diào)整文檔分塊與向量數(shù)據(jù)庫配置。
- 建立本地自定義AI助手！
- 嘗試不同模型（ollama pull mistral 或 ollama pull llama3）并觀察響應(yīng)結(jié)果有何變化。
- 嘗試索引更復(fù)雜的文檔集，并微調(diào)檢索過程。
- 深入了解Chipper的API集成，并探索如何將其嵌入現(xiàn)有應(yīng)用程序。
- 閱讀??官方指南??以了解更多信息。
原文標(biāo)題：??Unlocking Local AI: Build RAG Apps Without Cloud or API Keys??，作者：Santhosh Vijayabaskar
