近期，Open AI 推出的 Deep Research（深度研究）功能引發(fā)了廣泛關(guān)注。該功能通過(guò)整合大模型、超級(jí)搜索和研究助理于一體，使得金融機(jī)構(gòu)能夠一鍵生成報(bào)告，科研人員能夠一鍵撰寫綜述，極大提升了效率。然而，由于企業(yè)場(chǎng)景中私有化數(shù)據(jù)的敏感性和成本考慮，如何將 Deep Research 進(jìn)行開(kāi)源的本地化部署，成為許多人的關(guān)注焦點(diǎn)。

在這篇文章中，我們將對(duì)市場(chǎng)上模仿 Deep Research 的開(kāi)源項(xiàng)目進(jìn)行簡(jiǎn)要分析，并結(jié)合 Deepseek 等主流開(kāi)源模型，Zilliz 推出一款名為 Deep Searcher 的開(kāi)源項(xiàng)目。該項(xiàng)目的目標(biāo)是幫助用戶在企業(yè)級(jí)場(chǎng)景下，基于 Deep Research的思路，實(shí)現(xiàn)私有化部署。此外，此方案在現(xiàn)有的RAG（Retrieval-Augmented Generation）方案上進(jìn)行了重要升級(jí)。

GitHub 的嘗鮮鏈接：

??https://github.com/zilliztech/deep-searcher??

1、什么是 Deep Research，為什么需要開(kāi)源平替？

最近，OpenAI 推出了一款先進(jìn)的 AI 研究工具——Deep Research，目的是為了幫助用戶更高效地處理復(fù)雜的研究工作。這款工具基于 OpenAI 最新的 o3 大模型，特別針對(duì)網(wǎng)絡(luò)瀏覽和數(shù)據(jù)分析進(jìn)行了優(yōu)化。

第一、核心功能包括：

多階段信息搜集與推理：Deep Research 能夠自動(dòng)執(zhí)行多階段的網(wǎng)絡(luò)調(diào)研，迅速整合網(wǎng)絡(luò)上的大量信息，涵蓋文本、圖片和 PDF 文件。

專業(yè)報(bào)告自動(dòng)生成：通過(guò)分析綜合數(shù)百個(gè)在線資源，Deep Research 可以在5至30分鐘內(nèi)生成一份包含詳細(xì)引用的專業(yè)報(bào)告，顯著減少傳統(tǒng)研究所需的時(shí)間。

第二、應(yīng)用場(chǎng)景涵蓋：

學(xué)術(shù)研究：學(xué)者和研究人員可以利用 Deep Research 快速搜集相關(guān)領(lǐng)域的深入資料，輔助撰寫論文和進(jìn)行研究。

市場(chǎng)分析：企業(yè)可以使用此工具進(jìn)行市場(chǎng)調(diào)研、競(jìng)爭(zhēng)分析和產(chǎn)品比較，為商業(yè)決策提供支持。

產(chǎn)品評(píng)估：消費(fèi)者可以利用 Deep Research 比較不同產(chǎn)品的特點(diǎn)和評(píng)價(jià)，做出更明智的購(gòu)買選擇。

總體而言，Deep Research 作為 OpenAI 推出的深度研究產(chǎn)品，旨在通過(guò)自動(dòng)化的信息搜集和分析，助力用戶高效完成復(fù)雜的研究任務(wù)。但目前，Deep Research 僅對(duì)美國(guó)地區(qū)的 OpenAI Pro 用戶開(kāi)放，費(fèi)用為每月200美元，且每月查詢次數(shù)限制為100次。

第三、開(kāi)源解決方案：

目前，大多數(shù)用戶尚無(wú)法使用 OpenAI 的 Deep Research 功能。不過(guò)，自從 OpenAI 發(fā)布該功能后，許多開(kāi)源社區(qū)的貢獻(xiàn)者開(kāi)始分析并嘗試復(fù)現(xiàn)這一功能。

GitHub 上已經(jīng)出現(xiàn)了多個(gè)開(kāi)源方案，它們的實(shí)現(xiàn)流程大致分為以下四個(gè)步驟：

第一步，問(wèn)題分析：大模型分析用戶提出的問(wèn)題，確定回答問(wèn)題所需的角度和步驟。許多大型模型（比如：DeepSeek、ChatGPT、Gemini 等）只需開(kāi)啟推理選項(xiàng)即可完成這一過(guò)程。

第二步，在線搜索：根據(jù)大模型生成的問(wèn)題進(jìn)行在線搜索，獲取搜索結(jié)果的前 k 項(xiàng)，并將內(nèi)容反饋給大模型。

第三步，內(nèi)容總結(jié)：大模型根據(jù)在線內(nèi)容生成簡(jiǎn)潔的答案。

第四步，答案驗(yàn)證：將所有內(nèi)容匯總后，由大模型判斷答案的完整性和準(zhǔn)確性。

如果答案完整且準(zhǔn)確，則輸出最終答案。如果達(dá)到預(yù)設(shè)的循環(huán)次數(shù)或 token 上限，同樣輸出最終答案。否則，生成新問(wèn)題，返回第一步，并將歷史解決信息帶入下一輪循環(huán)。

2、相比傳統(tǒng) RAG，Deep Research 有何亮點(diǎn)與不足

相較于之前的 RAG（Retrieval-Augmented Generation）方案，新方案實(shí)現(xiàn)了以下三個(gè)方面的創(chuàng)新：

第一、判定邏輯：通過(guò)引入額外的判定邏輯，提升了答案的精確度。Deep Research 利用多源驗(yàn)證、邏輯推理等質(zhì)量控制手段，確保了研究成果的可靠性，并有效避免了傳統(tǒng) RAG 中常見(jiàn)的無(wú)目的檢索和過(guò)度檢索問(wèn)題。與傳統(tǒng)的 RAG 相比，Deep Research 在信息整合和驗(yàn)證方面更為嚴(yán)謹(jǐn)。

第二、以搜索結(jié)果為核心：答案主要基于搜索結(jié)果而非單純依賴大模型的生成。大模型的作用在于內(nèi)容匯總和相關(guān)性判斷，從而增強(qiáng)了答案的可靠性。

第三、深度思考與處理復(fù)雜任務(wù)：Deep Research 能夠模仿人類研究員進(jìn)行多階段的網(wǎng)絡(luò)研究，理解信息、整合資源，并根據(jù)新發(fā)現(xiàn)調(diào)整研究策略。這種自主進(jìn)行多步驟問(wèn)題解決的能力，是普通 RAG 所不具備的。

雖然這些優(yōu)勢(shì)顯著，但 Deep Research 也存在一些不足。從前面提供的方案中可以看出，Deep Research 的響應(yīng)速度較慢，對(duì)計(jì)算資源和網(wǎng)絡(luò)環(huán)境的要求也更高。更重要的是，其答案的主要信息來(lái)源依然是公開(kāi)的網(wǎng)絡(luò)搜索結(jié)果。

然而，在大多數(shù)企業(yè)場(chǎng)景中，真正有價(jià)值的數(shù)據(jù)通常是企業(yè)的內(nèi)部數(shù)據(jù)，這些數(shù)據(jù)無(wú)法通過(guò)在線搜索獲取，也不適合上傳至大模型以避免隱私泄露的風(fēng)險(xiǎn)。此外，在線搜索引擎的結(jié)果可能包含誤導(dǎo)性信息（比如：廣告），且一些小眾搜索引擎可能存在搜索延遲。

鑒于此，在多數(shù)企業(yè)級(jí)應(yīng)用場(chǎng)景中，采用基于 Deep Research 思路的私有化部署可能是一個(gè)更佳的選擇。

接下來(lái)，我們將以 Deep Searcher 為例，展示如何結(jié)合開(kāi)源項(xiàng)目和本地?cái)?shù)據(jù)，實(shí)現(xiàn)一個(gè)升級(jí)版的 Deep Research本地部署。

3、如何針對(duì)私有數(shù)據(jù)，做 Deep Research

以下是基于多數(shù)開(kāi)源 Deep Research 方案改進(jìn)后，Zilliz 推出的 Deep Searcher 開(kāi)源實(shí)現(xiàn)方案的架構(gòu)圖：

從圖中可以看出，Deep Searcher 通過(guò)集成向量數(shù)據(jù)庫(kù) Milvus，實(shí)現(xiàn)了對(duì)用戶本地存儲(chǔ)數(shù)據(jù)的快速、低延遲的大規(guī)模離線搜索。

Deep Searcher 的實(shí)現(xiàn)步驟如下：

第一步，問(wèn)題解析：在接收到用戶提問(wèn)后，利用 LLM（Large Language Model）對(duì)問(wèn)題進(jìn)行分析，生成多個(gè)子問(wèn)題，并明確每個(gè)子問(wèn)題對(duì)應(yīng)的數(shù)據(jù)集。

第二步，信息檢索：根據(jù) LLM 的分析結(jié)果，在向量數(shù)據(jù)庫(kù)中檢索相關(guān)信息。需要注意的是，向量數(shù)據(jù)庫(kù)中的數(shù)據(jù)是離線存儲(chǔ)的，因此在執(zhí)行查詢之前，需要先將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)。這些數(shù)據(jù)可以是企業(yè)內(nèi)部數(shù)據(jù)、在線下載的數(shù)據(jù)，或者是其他系統(tǒng)中定期導(dǎo)入的數(shù)據(jù)。

第三步，內(nèi)容判斷：向量數(shù)據(jù)庫(kù)檢索到相似信息后，將用戶的原始問(wèn)題、子問(wèn)題及其對(duì)應(yīng)的搜索結(jié)果一同提交給大模型進(jìn)行內(nèi)容判斷。

如果問(wèn)題已經(jīng)得到完整回答，則進(jìn)入最終回答階段。

如果達(dá)到預(yù)設(shè)的循環(huán)次數(shù)或 token 上限，同樣進(jìn)入最終回答階段。

否則，大模型將生成新的問(wèn)題，并繼續(xù)下一輪循環(huán)。

方案亮點(diǎn)包括：

（1）私有數(shù)據(jù)利用：充分挖掘私有數(shù)據(jù)的價(jià)值，更好地與大模型結(jié)合。

（2）向量數(shù)據(jù)庫(kù)優(yōu)勢(shì)：發(fā)揮向量數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)、低延遲搜索、多種索引策略、高可用性和資源彈性管理等方面的優(yōu)勢(shì)。

（3）數(shù)據(jù)管理：通過(guò)向量數(shù)據(jù)庫(kù)高效管理私有數(shù)據(jù)，對(duì)不同類型的數(shù)據(jù)進(jìn)行分庫(kù)分表，支持多種應(yīng)用，最大化數(shù)據(jù)價(jià)值，降低管理成本。

值得注意的是，為了更有效地保護(hù)私有數(shù)據(jù)，建議使用離線 LLM 大模型。如果使用 LLM API，即使僅返回部分檢索數(shù)據(jù)，仍然存在數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

4、Deep Searcher 落地效果

遵循上述思路，Deep Research 的本地部署開(kāi)源版本——Deep Searcher，現(xiàn)已在 GitHub上 開(kāi)放源代碼，項(xiàng)目鏈接為：??https://github.com/zilliztech/deep-searcher。??

當(dāng)前項(xiàng)目功能包括：

第一、LLM 支持：支持 DeepSeek 官方版本、DeepSeek 硅基流動(dòng)、DeepSeek TogetherAI、OpenAI。

第二、Embedding 模型支持：支持 Pymilvus 內(nèi)置模型、OpenAI Embedding、VoyageAI Embedding。

第三、數(shù)據(jù) Loader 支持：支持離線文檔（比如：PDF、Markdown、TXT）、在線文檔（可通過(guò) FireCrawl、JinaReader、Crawl4AI 獲取）。

第四、向量數(shù)據(jù)庫(kù)支持：支持 Milvus、Zilliz Cloud（注冊(cè)后即可免費(fèi)體驗(yàn)，注冊(cè)地址：https://cloud.zilliz.com.cn/login 或 https://cloud.zilliz.com/）。

最終效果預(yù)覽如下：

GitHub 項(xiàng)目——Deep Searcher：??https://github.com/zilliztech/deep-searcher。??項(xiàng)目正處于快速迭代階段。

本文轉(zhuǎn)載自公眾號(hào)玄姐聊AGI  作者：玄姐

原文鏈接：??https://mp.weixin.qq.com/s/SsBKmVIP4ccF21G01qlTxQ??