構建 AI 智能體應用市面上有很多工具，本文根據我們的實踐落地經驗，給大家推薦一份經過篩選的靠譜開源技術棧，包括：開發 & 編排框架、記憶、文檔理解、計算機控制、語音功能、測試與評估、監控與可觀測性、模擬環境、垂直智能體等9個方向，如下圖所示：

下文我們詳細剖析之。

一、構建 AI 智能體技術棧

1、構建 AI 智能體的技術棧總覽

構建和協調 AI 智能體的框架

如果你是從零開始構建 AI 智能體，就從這里入手。這些工具可以幫助你構建 AI 智能體的邏輯結構——何時做什么以及如何處理工具。你可以將其視為核心大腦，將原始語言模型轉變為更具自主性的工具。

計算機和瀏覽器使用

一旦你的 AI 智能體能夠規劃，它就需要行動。這一類別的工具可以讓 AI 智能體像人類一樣點擊按鈕、在字段中輸入文字、抓取數據以及控制應用程序或網站。

語音

如果 AI 智能體需要說話或傾聽，這些工具可以處理音頻方面的問題——將語音轉換為文字，反之亦然。這對于免提使用場景或以語音為主的 AI 智能體非常有用。有些工具甚至可以進行實時對話。

文檔理解

許多現實世界中的數據都存儲在 PDF、掃描文件或其他混亂的格式中。這些工具可以幫助你的 AI 智能體真正讀懂并理解這些內容——無論是發票、合同還是基于圖像的文件。

記憶

如果要超越一次性任務，AI 智能體就需要記憶。這些庫可以幫助它記住剛剛發生的事情、你之前告訴過它的內容，甚至可以隨著時間的推移構建長期的用戶畫像。

測試與評估

事情總是會出錯的。這些工具可以幫助你在產品上線前發現錯誤——通過運行場景、模擬互動以及檢查 AI 智能體的行為是否合理。

監控與可觀測性

一旦你的 AI 智能體上線，你需要知道它在做什么以及它的表現如何。這些工具可以幫助你跟蹤使用情況、調試問題以及了解成本或延遲的影響。

模擬

在將 AI 智能體投放到實際環境中之前，先在一個安全的沙盒環境中進行測試。模擬環境可以讓你進行實驗、完善決策邏輯，并在受控的環境中發現邊緣情況。

垂直 AI 智能體

并非一切都需要從零開始構建。這些是為特定工作而預先構建的 AI 智能體——比如編程、研究或客戶支持。你可以直接使用它們，也可以根據你的工作流程進行定制。

2、構建和協調 AI 智能體的框架

要構建能夠真正完成任務的 AI 智能體，你需要一個堅實的基礎——某種能夠處理工作流程、記憶和工具集成的東西，而不會變成一堆混亂的腳本。這些框架為你的 AI 智能體提供了理解目標、制定計劃并執行所需的結構。

• CrewAI：協調多個 AI 智能體協同工作。適合需要協調和基于角色的行為的任務。
• Agno：專注于記憶、工具使用和長期互動。非常適合需要記憶和適應的助手。
• Camel：為多 AI 智能體協作、模擬和任務專業化而設計。
• AutoGPT：通過規劃和執行的循環自動化復雜的工作流程。最適合需要獨立運行的 AI 智能體。
• AutoGen：讓 AI 智能體之間相互交流以解決復雜問題。
• SuperAGI：快速構建和部署自主 AI 智能體的簡化設置。
• Superagent：創建自定義人工智能助手的靈活開源工具包。
• LangChain & LlamaIndex：管理記憶、檢索和工具鏈的首選工具。

3、計算機和瀏覽器使用

一旦你的 AI 智能體能夠思考，下一步就是幫助它行動。這意味著像人類一樣與計算機和網絡互動——點擊按鈕、填寫表格、瀏覽頁面以及運行命令。這些工具彌合了推理和行動之間的差距，讓你的 AI 智能體能夠在現實世界中操作。

• Open Interpreter：將自然語言翻譯成可在你的機器上執行的代碼。想移動文件或運行腳本？只需描述一下即可。
• Self-Operating Computer：為 AI 智能體提供對你的桌面環境的完全控制，使它們能夠像人類一樣與你的操作系統互動。
• Agent-S：一個靈活的框架，讓 AI 智能體像真實用戶一樣使用應用程序、工具和界面。
• LaVague：使網絡 AI 智能體能夠實時導航網站、填寫表格并做出決策——非常適合自動化瀏覽器任務。
• Playwright：跨瀏覽器自動化網絡操作。對于測試或模擬用戶流程非常方便。
• Puppeteer：控制 Chrome 或 Firefox 的可靠工具。非常適合抓取和自動化前端行為。

4、語音

語音是人類與 AI 智能體互動最直觀的方式之一。這些工具處理語音識別、語音合成和實時互動——讓你的 AI 智能體感覺更像人類。

• Speech2speech

     a.Ultravox：頂級的語音到語音模型，能夠平穩地處理實時語音對話。快速且響應迅速。

     b.Moshi：語音到語音任務的另一個強大選項。對于實時語音互動非常可靠，盡管在性能上不如 Ultravox。

     c.Pipecat：構建語音智能體的全棧框架。包括對語音到文本、文本到語音甚至基于視頻的互動的支持。

• Speech2text

     a.Whisper：OpenAI 的語音到文本模型——非常適合多種語言的轉錄和語音識別。

     b.Stable-ts：圍繞 Whisper 的更開發者友好的包裝器。增加了時間戳和實時支持，非常適合對話智能體。

     c.Speaker Diarization 3.1：Pyannote 的模型，用于檢測誰在何時說話。對于多說話人的對話和會議風格的音頻至關重要。

• Text2speech

      a.ChatTTS：到目前為止我發現的最好的模型。它快速、穩定，適用于大多數用例的生產環境。

      b.ElevenLabs（商業）：當質量比開源更重要時，這就是首選。它提供了非常自然的聲音，并支持多種風格。

      c.Cartesia（商業）：如果你正在尋找超出開源模型所能提供的富有表現力、高保真度的語音合成，這是另一個強大的商業選項。

5、文檔理解

大多數有用的商業數據仍然以非結構化的格式存在——PDF、掃描文件、基于圖像的報告。這些工具可以幫助你的 AI 智能體閱讀、提取并理解這些混亂的內容，而無需脆弱的 OCR 管道。

• Qwen2-VL：阿里巴巴的一個強大的視覺語言模型。在混合圖像和文本的文檔任務上表現優于 GPT-4 和 Claude 3.5 Sonnet——非常適合處理復雜的真實世界格式。
• DocOwl2：一個輕量級的多模態模型，用于無需 OCR 的文檔理解。快速、高效，對于從混亂的輸入中提取結構和意義非常準確。

6、記憶

沒有記憶，AI 智能體就會陷入循環——將每次互動都當作第一次。這些工具賦予了它們回憶過去對話、跟蹤偏好并建立連續性的能力。這就是將一次性助手轉變為隨著時間推移更有用的東西的原因。

• Mem0：一個自我改進的記憶層，讓你的 AI 智能體能夠適應之前的互動。非常適合構建更具個性化和持久性的人工智能體驗。
• Letta（前身為 MemGPT）：為 LLM 智能體添加長期記憶和工具使用。可以將其視為需要記憶、推理和進化的智能體的腳手架。
• LangChain：包括用于跟蹤對話歷史和用戶上下文的即插即用記憶組件——在構建需要在多個回合中保持穩定的智能體時非常方便。

7、測試與評估

隨著你的 AI 智能體開始做更多超出聊天的事情——瀏覽網頁、做決策、大聲說話——你需要知道它們將如何處理邊緣情況。這些工具可以幫助你測試 AI 智能體在不同情況下的行為，及早發現錯誤，并跟蹤問題所在。

• eeVoice Lab：一個全面的框架，用于測試語音智能體，確保智能體的語音識別和回應準確自然。
• AgentOps：一套用于跟蹤和基準測試人工智能智能體的工具，幫助你在問題影響用戶之前發現并優化性能。
• AgentBench：一個基準測試工具，用于評估 LLM 智能體在各種任務和環境中的表現，從網頁瀏覽到游戲，確保其多功能性和有效性。

8、監控與可觀測性

為了確保你的人工智能智能體能夠大規模順利高效地運行，你需要了解它們的性能和資源使用情況。這些工具提供了必要的洞察力，讓你能夠監控智能體行為、優化資源，并在問題影響用戶之前發現問題。

• openllmetry：使用 OpenTelemetry 為 LLM 應用提供端到端的可觀測性，讓你清晰地了解智能體性能，并幫助你快速地進行故障排除和優化。
• AgentOps：一個全面的監控工具，跟蹤智能體性能、成本和基準測試，幫助你確保智能體既高效又在預算之內。

9、模擬環境

在部署之前模擬真實世界環境是一個改變游戲規則的舉措。這些工具可以讓你創建受控的虛擬空間，讓 AI 智能體在其中互動、學習和做決策，而無需擔心在實際環境中出現意外后果的風險。

• AgentVerse：支持在各種應用和模擬中部署多個基于 LLM 的 AI 智能體，確保在各種環境中有效運行。
• Tau-Bench：一個基準測試工具，評估特定行業（如零售或航空）中智能體與用戶之間的互動，確保順利處理特定領域的任務。
• ChatArena：一個多 AI 智能體語言游戲環境，智能體在此互動，非常適合在安全、受控的空間中研究智能體行為并完善溝通模式。
• AI Town：一個虛擬環境，人工智能角色在此進行社交互動、測試決策并模擬真實世界場景，有助于微調智能體行為。
• Generative Agents：斯坦福大學的一個項目，專注于創建模擬復雜行為的人類智能體，非常適合在社交環境中測試記憶和決策能力。

10、垂直 AI 智能體

垂直 AI 智能體是為解決特定問題或優化特定行業的任務而設計的專門工具。雖然這類工具的生態系統正在不斷壯大，但我個人使用過并發現特別有用的有以下幾種：

• 編程

     a.OpenHands：一個由人工智能驅動的軟件開發智能體平臺，旨在自動化編程任務并加快開發過程。

     b.aider：一個直接集成到你的終端中的結對編程工具，提供一個人工智能副駕駛，直接在你的編程環境中提供幫助。

     c.GPT Engineer：使用自然語言構建應用程序；只需描述你想要的內容，人工智能就會澄清并生成必要的代碼。

     d.screenshot-to-code：將截圖轉換為具有 HTML、Tailwind、React 或 Vue 的完全功能的網站，非常適合快速將設計想法轉化為實際代碼。

• 研究

      a.GPT Researcher：一個自主智能體，進行全面的研究、分析數據并撰寫報告，簡化了研究過程。

• SQL

      a.Vanna：使用自然語言查詢與你的 SQL 數據庫互動；無需復雜的 SQL 命令，只需提問，Vanna 就會檢索數據。

總之，最可靠的 AI 智能體是用務實、簡潔的工具棧構建的，而不是追逐每一個閃閃發光的新工具。

成功的 AI 智能體開發不需要重新發明輪子。

它關乎選擇適合工作的正確工具，深思熟慮地進行整合，并完善你的原型。無論你是自動化工作流程、構建語音 AI 智能體還是解析文檔，精心選擇的工具棧可以使整個過程更加順暢和高效。

好了，這就是我今天想分享的內容。

本文轉載自???玄姐聊AGI??  作者：玄姐