編者按： 面對市面上琳瑯滿目的開源工具，我們往往迷失在選擇的焦慮中 —— 哪些工具真正經(jīng)得起生產(chǎn)環(huán)境的考驗？哪些只是看起來很酷的演示項目？更重要的是，如何避免把寶貴的開發(fā)時間浪費在那些半成品工具上？

我們今天為大家?guī)淼奈恼?，作者的觀點是：構(gòu)建可靠的 AI 智能體需要的不是最新最炫的工具，而是經(jīng)過實戰(zhàn)檢驗、務(wù)實可靠的開源技術(shù)棧。

本文作者系統(tǒng)梳理出一套經(jīng)過實戰(zhàn)檢驗的開源技術(shù)棧，涵蓋智能體開發(fā)的九個核心領(lǐng)域：從用于構(gòu)建和編排智能體的框架 ，到計算機與瀏覽器操控、語音交互、文檔理解、記憶機制等功能模塊；從測試評估到監(jiān)控部署的全流程工具鏈；最后還包括仿真環(huán)境和垂直領(lǐng)域的專用智能體。

作者 | Paolo Perrone

編譯 | 岳揚

還記得在某個周末，我坐下來，堅信自己終于能構(gòu)建一個像樣的研究助手智能體原型了。不需要多么高大上 —— 只要它能讀取 PDF、提取關(guān)鍵信息、也許還能回答幾個后續(xù)問題就行。本該很簡單對吧？

結(jié)果，我花了整整兩天時間，在文檔不全的代碼倉庫、沉寂的 GitHub issues 和模糊不清的博客文章間反復(fù)折騰。有個工具看起來很靠譜，直到我發(fā)現(xiàn)它已經(jīng)八個月沒更新了。另一個工具需要啟動四個不同的服務(wù)，僅僅是為了解析一份文檔。最終，我的“智能體”連文件名都幾乎讀不出來，更別提內(nèi)容了。

但支撐我做下去的不是挫敗感 —— 而是好奇。我想知道：真正的智能體開發(fā)者究竟在用哪些工具？不是那些創(chuàng)投圈熱捧的明星項目，而是那些你會默默安裝、保留在你的技術(shù)棧中、并真心信賴的工具。那些不需要三頁 Notion 文檔來解釋的工具。

這次探索讓我發(fā)現(xiàn)了一套出乎意料扎實的開源庫 —— 這些工具輕量、可靠，且專為開發(fā)者而打造。

所以，如果你還在為智能體跑不通而焦頭爛額，本文就是為你準(zhǔn)備的。

01 那么，你準(zhǔn)備好構(gòu)建 AI 智能體了嗎？

你可能會問：

• 人們用什么來構(gòu)建語音智能體？
• 解析文檔的最佳開源工具是什么？
• 如何在不把向量數(shù)據(jù)庫（vector DB）像萬能膠一樣到處粘貼的情況下給我的智能體添加記憶功能？

本指南并未試圖覆蓋市面上所有工具 —— 這是我有意為之。這是一份經(jīng)過篩選的工具清單，是我真正使用過、保留在我的技術(shù)棧中、并在構(gòu)建智能體原型時會反復(fù)使用的工具。不是那些在演示中看起來很酷或在每個炒作帖子里出現(xiàn)的工具，而是那些能幫助我從“想法（idea）”推進到“能工作的東西（working thing）”、而不會讓人迷失方向的工具。

以下是按類別劃分的技術(shù)棧：

1）用于構(gòu)建和編排智能體的框架（Frameworks for Building and Orchestrating Agents）

如果你是從零開始構(gòu)建智能體，可以從這里開始。這些工具能夠幫助你結(jié)構(gòu)化智能體的邏輯 —— 做什么、何時做以及如何處理工具。可以將其視為將原始語言模型轉(zhuǎn)變?yōu)楦灾鞯闹悄荏w的核心大腦。

2）計算機與瀏覽器操控（Computer and Browser Use）

一旦你的智能體能制定計劃，它就需要執(zhí)行操作。這一類工具能讓你的智能體點擊按鈕、在數(shù)據(jù)字段中鍵入內(nèi)容、抓取數(shù)據(jù)、以及像人類一樣操作應(yīng)用程序或網(wǎng)站。

3）語音功能（Voice）

如果你的智能體需要說話或聆聽，這些工具負責(zé)處理音頻部分 —— 將語音轉(zhuǎn)為文本（speech to text），再將文本轉(zhuǎn)回語音（text to speech）。適用于免提場景或語音優(yōu)先型智能體（voice-first agents）。有些工具甚至能很好地處理實時對話。

4）文檔理解（Document Understanding）

大量現(xiàn)實世界的數(shù)據(jù)存在于 PDF、掃描文件或其他雜亂格式中。這些工具能夠幫助你的智能體讀取和理解這些內(nèi)容 —— 無論是發(fā)票、合同還是基于圖像的文件。

5）記憶（Memory）

要實現(xiàn)持續(xù)學(xué)習(xí)的能力，你的智能體就需要記憶功能。這些工具庫能幫助智能體記住剛剛發(fā)生了什么、你之前告訴過它什么，甚至能隨時間的推移構(gòu)建長期用戶畫像。

6）測試與評估（Testing and Evaluation）

系統(tǒng)總會出故障。這些工具可以幫助你在系統(tǒng)上線前發(fā)現(xiàn)問題 —— 通過預(yù)設(shè)用戶操作路徑、模擬交互，并檢查智能體的行為是否符合預(yù)期。

7）監(jiān)控與可觀測性（Monitoring and Observability）

當(dāng)智能體正式上線后，你需要知道它在做什么以及表現(xiàn)如何。這些工具能夠幫助你跟蹤使用情況、調(diào)試出現(xiàn)的問題并分析成本或延遲影響。

8）仿真環(huán)境（Simulation）

在將智能體投入真實場景前，需要先在安全的沙箱世界中測試它。仿真環(huán)境讓你能在受控條件中進行實驗、優(yōu)化決策邏輯并發(fā)現(xiàn)邊界案例。

9）垂直領(lǐng)域智能體（Vertical Agents）

并非所有東西都需要從零構(gòu)建。這些是為特定工作（如編程、研究或客戶支持）打造的預(yù)置智能體。你可以直接使用它們，或根據(jù)你的工作流進行定制。

02 用于構(gòu)建和編排智能體的框架 (Frameworks for Building and Orchestrating Agents)

要打造真正能解決問題的智能體，你需要一個扎實的底層架構(gòu) —— 它必須能駕馭工作流、記憶機制和工具協(xié)同，而不是淪為一堆東拼西湊的腳本代碼。這些框架為你的智能體提供了所需的結(jié)構(gòu)，使其能夠準(zhǔn)確理解目標(biāo)、制定可行方案并執(zhí)行到底。

• CrewAI?— 協(xié)調(diào)多個協(xié)同工作的智能體。非常適合需要協(xié)調(diào)和基于角色行為的任務(wù)。
• Agno?— 專注于記憶機制、工具使用和長期交互。對于需要記憶能力和適應(yīng)能力的 AI 助手來說非常理想。
• Camel?— 專為多智能體協(xié)同、仿真推演和任務(wù)分工場景打造。
• AutoGPT?— 通過“規(guī)劃-執(zhí)行”閉環(huán)實現(xiàn)復(fù)雜工作流的自動化運行。最適合需要獨立運行的智能體。
• AutoGen?— 讓智能體之間進行協(xié)作，共同解決復(fù)雜問題。
• SuperAGI — 簡化的設(shè)置，用于快速構(gòu)建和部署自主智能體（autonomous agents）。
• Superagent?— 一個靈活的開源工具包，用于創(chuàng)建自定義 AI 助手。
• LangChain & LlamaIndex?— 用于智能記憶管理、高效檢索和工具鏈整合的首選工具。

03 計算機與瀏覽器操控（Computer and Browser Use）

當(dāng)你的智能體能推理、思考后，下一步就是讓它能采取行動。這意味著智能體要像人類一樣與計算機或網(wǎng)絡(luò)進行交互 —— 點擊按鈕、填寫表單、瀏覽頁面并執(zhí)行命令。這些工具在推理（reasoning）與行動（action）之間架起了一座橋梁，讓智能體能在現(xiàn)實場景中運作。

• Open Interpreter?— 將自然語言翻譯成能在你機器上執(zhí)行的代碼。想移動文件或運行腳本？描述需求即可。
• Self-Operating Computer?— 讓智能體完全控制你的桌面環(huán)境，使其能像真人一樣與操作系統(tǒng)（OS）進行交互。
• Agent-S?— 這是一個靈活的框架，允許 AI 智能體像真實用戶那樣操作各類應(yīng)用程序（apps）、工具（tools）和交互界面（interfaces）。
• LaVague?— 使網(wǎng)頁智能體（web agents）能夠?qū)崟r瀏覽網(wǎng)站、填寫表單并做出決策，是實現(xiàn)瀏覽器任務(wù)自動化的理想選擇。
• Playwright?— 跨瀏覽器自動化網(wǎng)頁操作。適合測試或模擬用戶流程。
• Puppeteer?— 控制 Chrome 或 Firefox 的可靠工具。非常適用于數(shù)據(jù)抓取和前端行為自動化。

04 語音功能（Voice）

語音是人類與 AI 智能體交互最直觀的方式之一。這些工具處理語音識別（speech recognition）、語音合成（voice synthesis）及實時交互（real-time interactions） —— 讓你的智能體更具“人性化”。

4.1 語音對話（Speech2speech）

• Ultravox?— 頂級的語音對話模型，可流暢處理實時語音對話。響應(yīng)迅速靈敏。
• Moshi?— 語音對話任務(wù)的另一個強勁選擇。在實時語音交互方面表現(xiàn)可靠，但 Ultravox 在性能上更勝一籌。
• Pipecat?— 用于構(gòu)建語音交互智能體的全?？蚣堋ＶС终Z音轉(zhuǎn)文本、文本轉(zhuǎn)語音，甚至基于視頻的交互（video-based interactions）。

4.2 語音識別（Speech2text）

• Whisper?— OpenAI 的語音轉(zhuǎn)文本模型 —— 適用于跨多語言的轉(zhuǎn)錄和語音識別。
• Stable-ts?— 針對 Whisper 的、對開發(fā)者更友好的封裝工具。添加了時間戳和實時支持，非常適合對話型智能體。
• Speaker Diarization 3.1?— Pyannote 的說話人分離模型。對多人對話及會議類音頻等場景至關(guān)重要。

4.3 語音合成（Text2speech）

• ChatTTS?— 目前我發(fā)現(xiàn)的最佳模型。速度快、穩(wěn)定，滿足大多數(shù)生產(chǎn)需求。
• ElevenLabs（商業(yè)版 / Commercial） ?— 當(dāng)音質(zhì)要求高于開源產(chǎn)品時，這是首選方案。提供高度自然的擬真語音，并支持多種風(fēng)格。
• Cartesia（商業(yè)版 / Commercial） ?— 如果你追求超越開源模型表現(xiàn)的高清語音合成，這是另一個強有力的商業(yè)選項。

4.4 實用工具（Miscellaneous Tools）

• Vocode?— 用于構(gòu)建語音驅(qū)動的大語言模型智能體的工具包。輕松連接語音輸入/輸出與語言模型。
• Voice Lab?— 用于測試和評估語音智能體的框架。可調(diào)試優(yōu)化提示詞、語音角色（voice persona）或模型配置（model setup）。

05 文檔理解（Document Understanding）

大部分有價值的業(yè)務(wù)數(shù)據(jù)仍以非結(jié)構(gòu)化格式存在 —— PDF文件、掃描文件、基于圖像的報表。這些工具能夠幫助你的智能體讀取、提取并理解這些復(fù)雜內(nèi)容，而無需依賴脆弱的 OCR 處理流程。

• Qwen2-VL?— 阿里巴巴推出的強大視覺語言模型。在處理混合圖像與文本的文檔任務(wù)時，表現(xiàn)優(yōu)于 GPT-4 和 Claude 3.5 Sonnet，非常適合處理復(fù)雜的實際業(yè)務(wù)格式。
• DocOwl2?— 為文檔理解場景打造的輕量級多模態(tài)模型，無需依賴 OCR?？焖俑咝В以趶碾s亂的輸入中提取內(nèi)容結(jié)構(gòu)和語義時準(zhǔn)確度驚人。

06 記憶（Memory）

沒有記憶機制的智能體會陷入一種將每次交互都視為初次接觸的循環(huán)。這些工具賦予它們回憶過往對話、追蹤用戶偏好和建立持續(xù)交互記憶的能力。正是這種能力，讓一次性的助手逐步進化為持續(xù)增值的智能伙伴。

• Mem0?— 可自我迭代的記憶層，讓智能體能夠適配先前的交互。非常適合構(gòu)建更個性化、持久化的 AI 體驗。
• Letta（前身為 MemGPT） ?— 為 LLM 智能體增加長期記憶和工具使用能力?？梢暈橹悄荏w的核心支架，使其具備記憶、推理和進化的能力。
• LangChain?— 包含即插即用的記憶組件，用于追蹤對話歷史和用戶上下文 —— 在構(gòu)建需跨多輪對話保持連續(xù)性的智能體時非常實用。

07 測試與評估（Testing and Evaluation）

當(dāng)你的智能體不再僅限于聊天，而是開始瀏覽網(wǎng)頁、做出決策、發(fā)出語音時，你需要預(yù)判它在邊界情況中的表現(xiàn)。這些工具可幫助你測試智能體在不同場景下的行為、及早發(fā)現(xiàn) bug，并定位系統(tǒng)故障點。

• Voice Lab?— 測試語音智能體的綜合框架，確保語音識別和響應(yīng)準(zhǔn)確且自然。
• AgentOps?— 用于追蹤和通過基準(zhǔn)測試測試 AI 智能體的工具集，幫助你在問題影響用戶之前發(fā)現(xiàn)隱患并優(yōu)化性能。
• AgentBench?— 評估 LLM 智能體的基準(zhǔn)測試工具，覆蓋從網(wǎng)頁瀏覽到游戲等多種任務(wù)場景，確保通用性與有效性。

08 監(jiān)控與可觀測性（Monitoring and Observability）

要確保 AI 智能體大規(guī)模地部署運行時能夠流暢高效地工作，你需要對它們的性能與資源消耗進行監(jiān)控。這些工具提供的關(guān)鍵可觀測性數(shù)據(jù)，能夠助你監(jiān)控智能體行為、優(yōu)化資源，并在問題波及用戶前及時攔截。

• openllmetry?— 基于 OpenTelemetry 為 LLM 應(yīng)用提供端到端的可觀測性，清晰展示性能表現(xiàn)，并幫助你快速排查故障和優(yōu)化系統(tǒng)。
• AgentOps?— 一款全面的監(jiān)控工具，能夠追蹤智能體性能、成本開支及基準(zhǔn)測試數(shù)據(jù)，確保其高效運行且成本可控。

09 仿真環(huán)境（Simulation）

在部署前模擬真實環(huán)境具有突破性意義。這些工具讓你能創(chuàng)建受控的虛擬空間，使智能體在其中互動、學(xué)習(xí)并做出決策，而無需承擔(dān)在實際環(huán)境中可能產(chǎn)生的意外后果。

• AgentVerse?— 支持在多種應(yīng)用程序和模擬環(huán)境中部署基于 LLM 的多智能體，確保其在各種環(huán)境下都能有效運作。
• Tau-Bench?— 評估智能體在特定行業(yè)（如零售業(yè)/航空業(yè)）中用戶交互表現(xiàn)的基準(zhǔn)測試工具，確保專業(yè)領(lǐng)域任務(wù)的流暢執(zhí)行。
• ChatArena?— 一個多智能體語言游戲環(huán)境，智能體在其中交互協(xié)作，適合在安全受控空間內(nèi)研究智能體的行為模式并優(yōu)化溝通模式。
• AI Town?— AI 角色進行社交互動、決策測試和現(xiàn)實場景模擬的虛擬環(huán)境，幫助精細化調(diào)優(yōu)智能體行為。
• Generative Agents?— 斯坦福的智能體項目，專注于模擬人類復(fù)雜行為，非常適合在社交語境中測試記憶與決策能力。

10 垂直領(lǐng)域智能體（Vertical Agents）

垂直領(lǐng)域智能體是解決特定行業(yè)問題或優(yōu)化專業(yè)任務(wù)的專用工具。盡管這類工具的生態(tài)系統(tǒng)正在不斷發(fā)展，但還是分享我個人使用過并認(rèn)為特別有用的幾款工具：

10.1 編程開發(fā)（Coding）

• OpenHands?— 基于 AI 的軟件開發(fā)平臺，可自動化編程任務(wù)并加速開發(fā)流程。
• aider?— 可直接集成到終端的結(jié)對編程工具（pair programming tool），提供直接嵌入編程環(huán)境的 AI 協(xié)作編程。
• GPT Engineer?— 用自然語言構(gòu)建應(yīng)用程序；用戶只需描述需求，AI 將解析用戶意圖并生成代碼。
• screenshot-to-code?— 將設(shè)計圖轉(zhuǎn)換為采用 HTML/Tailwind/React/Vue 的完整網(wǎng)站，快速實現(xiàn)設(shè)計稿轉(zhuǎn)代碼。

10.2 學(xué)術(shù)研究（Research）

• GPT Researcher?— 一款能夠進行全面研究、分析數(shù)據(jù)并撰寫報告的自主智能體（autonomous agent），能夠簡化研究流程。

10.3 數(shù)據(jù)庫交互（SQL）

• Vanna?— 使用自然語言查詢與 SQL 數(shù)據(jù)庫交互。無需編寫復(fù)雜的 SQL 命令，提問即可獲取數(shù)據(jù)。

11 總結(jié)（Conclusion）

回顧我早期構(gòu)建研究助手時的嘗試，我意識到自己當(dāng)初把問題復(fù)雜化了。那個項目最終是一團糟 —— 充斥著過時的代碼、半成品的工具，以及連 PDF 這種簡單文件都處理得力不從心的系統(tǒng)。

但正是在這次失敗中我收獲最多。

關(guān)鍵不在于尋找最完美的工具，而在于堅持有效的方案并保持簡單。那次教訓(xùn)讓我明白：構(gòu)建最可靠的智能體，憑的是務(wù)實、直接的技術(shù)棧，而非追逐每一款花哨的新工具。

成功的智能體開發(fā)無需重復(fù)造輪子。

核心在于選擇適合目標(biāo)任務(wù)的工具、有條不紊地整合它們，并持續(xù)不斷地優(yōu)化智能體原型。 無論你是要自動化工作流程、構(gòu)建語音智能體，還是解析文檔，一套精心挑選的技術(shù)棧都能讓流程更流暢高效。

因此，立即行動，大膽嘗試，讓好奇心引領(lǐng)你前行。技術(shù)生態(tài)系統(tǒng)正在不斷演進，可能性是無窮無盡的。

應(yīng)原作者要求，在此放置 Substack 訂閱鏈接和宣傳語：

作為科技內(nèi)容從業(yè)者，還在為粉絲增長發(fā)愁？

《The Tech Audience Accelerator》正是為你量身打造的必備指南 —— 專為認(rèn)真擴大受眾群體的科技創(chuàng)作者而生。

這里濃縮了我實現(xiàn) 3000萬+ 曝光量（且持續(xù)攀升）的實戰(zhàn)方法論、即用模板與高效策略，

所有干貨，皆經(jīng)市場驗證。

https://techaudienceaccelerator.substack.com/

END

本期互動內(nèi)容 ??

?分享一次你構(gòu)建 AI 智能體時最讓你血壓飆升的工具使用踩坑經(jīng)歷！?? 是文檔失蹤？還是兼容性噩夢？

本文經(jīng)原作者授權(quán)，由 Baihai IDP 編譯。如需轉(zhuǎn)載譯文，請聯(lián)系獲取授權(quán)。

原文鏈接：

https://decodingml.substack.com/p/the-open-source-stack-for-ai-agents