我記得一個周末，我坐下來，確信自己終于可以構(gòu)建一個像樣的研究助理代理原型了。沒什么特別的——只是能讀取 PDF 文件、提取關(guān)鍵信息，或許還能回答一些后續(xù)問題而已。應(yīng)該很簡單，對吧？

相反，我花了將近兩天的時間在文檔不全的倉庫、死掉的 GitHub 問題和含糊不清的博客文章之間來回切換。其中一個工具看起來有望成功，直到我意識到它已經(jīng)八個月沒有更新了。另一個工具需要啟動四個不同的服務(wù)才能解析一個文檔。到最后，我的“代理”幾乎看不懂文件名，更不用說內(nèi)容了。

但支撐我繼續(xù)下去的不是挫敗感，而是好奇。我想知道：實際建造者使用的工具有哪些？不是那些出現(xiàn)在光鮮亮麗的 VC 地圖上的，而是那些你悄悄安裝、放在你的堆棧里、并且真正使用的東西。那些不需要用三頁 Notion 來解釋的東西。

這次搜索讓我找到了一套令人驚訝的開源庫——這些工具輕量級、可靠，并且是專為開發(fā)人員設(shè)計的。

因此，如果您正在努力讓代理真正發(fā)揮作用，那么這篇文章就適合您。

那么，您準(zhǔn)備好構(gòu)建 AI 代理了嗎？

你可能會問：

• 人們用什么來構(gòu)建語音代理？
• 最好的開源文檔解析工具是什么？
• 我如何給我的代理提供內(nèi)存而不用將矢量數(shù)據(jù)庫粘貼到所有內(nèi)容上？

本指南并非試圖涵蓋所有工具，這是有意為之。它精選了我實際使用過、保存過以及在構(gòu)建真實代理原型時會用到的工具。這些工具并非那些在演示中看起來很酷或出現(xiàn)在所有宣傳帖中的工具，而是那些幫助我從“想法”到“實際可用”且不會迷失方向的工具。

以下是堆棧，分為以下類別：

1. 構(gòu)建和編排代理的框架

如果您是從頭開始構(gòu)建，請從這里開始。這些工具可以幫助您構(gòu)建代理的邏輯——做什么、何時做以及如何處理工具。您可以將其視為將原始語言模型轉(zhuǎn)化為更自主的模型的核心大腦。

2. 計算機和瀏覽器的使用

一旦你的代理能夠規(guī)劃，它就需要采取行動。此類別包含的工具可讓你的代理點擊按鈕、輸入字段、抓取數(shù)據(jù)，并像人類一樣控制應(yīng)用或網(wǎng)站。

3. 聲音

如果您的座席需要說話或聆聽，這些工具可以處理音頻方面的問題——將語音轉(zhuǎn)換為文本，然后再轉(zhuǎn)換為文本。非常適合免提用例或語音優(yōu)先的座席。有些工具甚至足以勝任實時對話。

4. 文檔理解

現(xiàn)實世界中，大量數(shù)據(jù)以 PDF、掃描件或其他雜亂的格式存在。這些工具可以幫助您的客服人員真正閱讀并理解這些數(shù)據(jù)內(nèi)容——無論是發(fā)票、合同還是基于圖像的文件。

5.記憶

為了超越一次性任務(wù)，你的代理需要記憶。這些庫可以幫助它記住剛剛發(fā)生的事情、你之前告訴它的內(nèi)容，甚至隨著時間的推移構(gòu)建一個長期檔案。

6.測試與評估

事情難免會出錯。這些工具可以幫助您在錯誤影響生產(chǎn)之前發(fā)現(xiàn)它們——通過運行場景、模擬交互以及檢查代理的行為是否合理。

7. 監(jiān)控和可觀察性

代理上線后，您需要了解其運行情況和性能。這些工具可幫助您跟蹤使用情況、調(diào)試問題并了解成本或延遲影響。

8.模擬

在將代理投入實際使用之前，請先在安全的沙盒環(huán)境中進行測試。模擬環(huán)境可讓您在受控的環(huán)境中進行實驗、優(yōu)化決策邏輯并發(fā)現(xiàn)極端情況。

9.垂直代理

并非所有東西都需要從零開始構(gòu)建。這些是專為特定任務(wù)（例如編碼、研究或客戶支持）構(gòu)建的現(xiàn)成代理。您可以按原樣運行它們，也可以根據(jù)您的工作流程進行自定義。

1. 構(gòu)建和編排代理的框架

要構(gòu)建真正能完成任務(wù)的代理，您需要一個堅實的基礎(chǔ)——能夠處理工作流、內(nèi)存和工具集成，而不會變成一堆亂七八糟的腳本。這些框架為您的代理提供了理解目標(biāo)、制定計劃并執(zhí)行所需的結(jié)構(gòu)。

CrewAI——協(xié)調(diào)多個代理協(xié)同工作。非常適合需要協(xié)調(diào)和基于角色的行為的任務(wù)。

Agno——專注于記憶、工具使用和長期互動。非常適合需要記憶和適應(yīng)能力的助手。

Camel——專為多代理協(xié)作、模擬和任務(wù)專業(yè)化而設(shè)計。

AutoGPT — 通過規(guī)劃和執(zhí)行循環(huán)自動化復(fù)雜的工作流程。最適合需要獨立運行的代理。

AutoGen——讓代理相互溝通以解決復(fù)雜問題。

SuperAGI——簡化設(shè)置，快速構(gòu)建和運送自主代理。

Superagent——一個靈活的開源工具包，用于創(chuàng)建自定義 AI 助手。

LangChain和LlamaIndex——用于管理內(nèi)存、檢索和工具鏈的首選工具。

2. Computer and Browser Use

一旦你的代理具備了思考能力，下一步就是幫助它行動。這意味著它能夠像人類一樣與計算機和網(wǎng)絡(luò)交互——點擊按鈕、填寫表單、瀏覽頁面以及運行命令。這些工具彌合了推理和行動之間的差距，讓你的代理能夠在現(xiàn)實世界中運作。

Open Interpreter ——將自然語言翻譯成機器上的可執(zhí)行代碼。想要移動文件或運行腳本？只需描述即可。

Self-Operating Computer ——讓代理完全控制您的桌面環(huán)境，允許他們像人一樣與您的操作系統(tǒng)進行交互。

Agent-S——一個靈活的框架，讓 AI 代理像真實用戶一樣使用應(yīng)用程序、工具和界面。

LaVague——使網(wǎng)絡(luò)代理能夠瀏覽網(wǎng)站、填寫表格并實時做出決策——非常適合自動執(zhí)行瀏覽器任務(wù)。

Playwright——跨瀏覽器自動化網(wǎng)頁操作。方便測試或模擬用戶流程。

Puppeteer——一款可靠的 Chrome 或 Firefox 控制工具。非常適合抓取和自動化前端行為。

3. 聲音

語音是人類與 AI 代理交互最直觀的方式之一。這些工具可以處理語音識別、語音合成和實時交互，讓您的代理感覺更像人類。

Speech2Speech

Ultravox——頂級語音對語音模型，可流暢處理實時語音對話。快速響應(yīng)。

Moshi——語音轉(zhuǎn)語音任務(wù)的另一款強大選擇。在實時語音交互方面表現(xiàn)可靠，但 Ultravox 在性能上更勝一籌。

Pipecat——用于構(gòu)建語音代理的全棧框架。支持語音轉(zhuǎn)文本、文本轉(zhuǎn)語音，甚至基于視頻的交互。

Speech2text

Whisper ——OpenAI 的語音轉(zhuǎn)文本模型——非常適合跨多種語言的轉(zhuǎn)錄和語音識別。

Stable-ts — 一個更方便開發(fā)者使用的 Whisper 封裝器。添加了時間戳和實時支持，非常適合用于對話代理。

說話人分類 3.1 — Pyannote 用于檢測說話人何時說話的模型。這對于多說話人對話和會議式音頻至關(guān)重要。

文本轉(zhuǎn)語音

ChatTTS——迄今為止我發(fā)現(xiàn)的最好的模型。它速度快、穩(wěn)定，并且適用于大多數(shù)生產(chǎn)環(huán)境。

ElevenLabs（商業(yè)版）——當(dāng)質(zhì)量比開源更重要時，這是您的首選。它提供高度自然的聲音，并支持多種風(fēng)格。

Cartesia （商業(yè)）——如果您正在尋找超越開放模型所能提供的富有表現(xiàn)力、高保真的語音合成，這是另一個強大的商業(yè)選擇。

雜項工具

它們并不完全適合某一類別，但在構(gòu)建或改進語音代理時非常有用。

Vocode — 用于構(gòu)建語音驅(qū)動的 LLM 代理的工具包。它可以輕松地將語音輸入/輸出與語言模型連接起來。

語音實驗室——用于測試和評估語音代理的框架。可用于輸入正確的提示、語音角色或模型設(shè)置。

4. 文檔理解

大多數(shù)有用的業(yè)務(wù)數(shù)據(jù)仍然以非結(jié)構(gòu)化格式存在——PDF、掃描件、基于圖像的報告。這些工具可以幫助您的客服人員讀取、提取并理解這些雜亂的數(shù)據(jù)，而無需復(fù)雜的 OCR 流程。

Qwen2-VL——阿里巴巴強大的視覺語言模型。在混合圖像和文本的文檔任務(wù)上，其性能優(yōu)于 GPT-4 和 Claude 3.5 Sonnet，非常適合處理復(fù)雜的現(xiàn)實世界格式。

DocOwl2 — 一個輕量級的多模態(tài)模型，無需OCR 即可理解文檔。它快速、高效，并且能夠從雜亂的輸入中提取結(jié)構(gòu)和含義，準(zhǔn)確率極高。

5.記憶

如果沒有記憶，客服人員就會陷入循環(huán)——把每一次互動都當(dāng)成第一次。這些工具讓他們能夠回憶過去的對話，追蹤他們的偏好，并建立連續(xù)性。這能讓一個一次性的助手隨著時間的推移變得更加有用。

Mem0 — 一個自我改進的記憶層，可讓您的代理適應(yīng)之前的交互。非常適合構(gòu)建更加個性化和持久的 AI 體驗。

Letta（原名 MemGPT） ——為 LLM 代理添加長期記憶和工具使用功能。可以將其視為需要記憶、推理和進化的代理的支架。

LangChain——包括即插即用的內(nèi)存組件，用于跟蹤對話歷史和用戶上下文——在構(gòu)建需要在多個回合中保持接地的代理時非常方便。

6.測試與評估

當(dāng)您的代理不再只是聊天——瀏覽網(wǎng)頁、做出決策、大聲說話——您需要了解他們?nèi)绾翁幚硖厥馇闆r。這些工具可以幫助您測試代理在不同情況下的行為，及早發(fā)現(xiàn)錯誤，并追蹤故障點。

eeVoice Lab——一個用于測試語音代理的綜合框架，確保您的代理的語音識別和響應(yīng)準(zhǔn)確而自然。

AgentOps——一套用于跟蹤和基準(zhǔn)測試 AI 代理的工具，幫助您發(fā)現(xiàn)任何問題并在問題影響用戶之前優(yōu)化性能。

AgentBench——用于評估 LLM 代理在各種任務(wù)和環(huán)境中的表現(xiàn)的基準(zhǔn)工具，從網(wǎng)頁瀏覽到游戲，確保多功能性和有效性。

7. 監(jiān)控和可觀察性

為了確保您的 AI 代理能夠大規(guī)模、順暢高效地運行，您需要深入了解其性能和資源使用情況。這些工具能夠提供必要的洞察，讓您能夠監(jiān)控代理行為、優(yōu)化資源，并在問題影響用戶之前將其捕獲。

openllmetry——使用 OpenTelemetry 為 LLM 應(yīng)用程序提供端到端可觀察性，讓您清楚地了解代理性能，并幫助您快速排除故障和優(yōu)化。

AgentOps——一款全面的監(jiān)控工具，可跟蹤代理的績效、成本和基準(zhǔn)，幫助您確保代理高效且在預(yù)算之內(nèi)。

8.模擬

在部署之前模擬真實環(huán)境將帶來翻天覆地的變化。這些工具可讓您創(chuàng)建受控的虛擬空間，讓您的代理能夠在其中進行交互、學(xué)習(xí)和決策，而無需擔(dān)心在真實環(huán)境中出現(xiàn)意外后果。

AgentVerse——支持在不同的應(yīng)用程序和模擬中部署多個基于 LLM 的代理，確保在各種環(huán)境中有效運行。

Tau-Bench——一種基準(zhǔn)測試工具，用于評估零售或航空等特定行業(yè)的代理與用戶之間的交互，確保順利處理特定領(lǐng)域的任務(wù)。

ChatArena——一個代理之間可以交互的多代理語言游戲環(huán)境，非常適合在安全、可控的空間中研究代理行為和改進溝通模式。

AI Town——一個虛擬環(huán)境，其中 AI 角色可以進行社交互動、測試決策并模擬真實世界場景，從而幫助微調(diào)代理行為。

生成代理——斯坦福大學(xué)的一個項目，專注于創(chuàng)建模擬復(fù)雜行為的類人代理，非常適合在社交環(huán)境中測試記憶和決策。

9.垂直代理

垂直代理是專門為解決特定問題或優(yōu)化特定行業(yè)任務(wù)而設(shè)計的工具。雖然這類工具的生態(tài)系統(tǒng)正在不斷發(fā)展，但以下是我個人使用過的一些特別有用的工具：

編碼：

OpenHands——一個由人工智能驅(qū)動的軟件開發(fā)代理平臺，旨在自動化編碼任務(wù)并加快開發(fā)過程。

aider——一種直接與您的終端集成的結(jié)對編程工具，提供 AI 副駕駛來協(xié)助您的編碼環(huán)境。

GPT 工程師——使用自然語言構(gòu)建應(yīng)用程序；只需描述您想要的內(nèi)容，AI 就會闡明并生成必要的代碼。

屏幕截圖到代碼 ——使用 HTML、Tailwind、React 或 Vue 將屏幕截圖轉(zhuǎn)換為功能齊全的網(wǎng)站，非常適合快速將設(shè)計想法轉(zhuǎn)化為實時代碼。

研究：

GPT 研究員——自主代理，進行全面研究、分析數(shù)據(jù)并撰寫報告，簡化研究流程。

SQL：

Vanna — 使用自然語言查詢與您的 SQL 數(shù)據(jù)庫交互；不再需要復(fù)雜的 SQL 命令，只需提出問題，Vanna 就會檢索數(shù)據(jù)。

小結(jié)

回顧我早期嘗試開發(fā)研究助手的過程，我發(fā)現(xiàn)我把事情搞得太復(fù)雜了。最終，這個項目變得一團糟——過時的代碼、不成熟的工具，甚至連PDF這種簡單的文件都處理不順暢。但矛盾的是，這正是我學(xué)到最多的地方。

關(guān)鍵不在于找到完美的工具，而在于堅持有效的方法，并保持簡潔。那次失敗讓我明白，最可靠的代理是建立在務(wù)實、直接的技術(shù)棧上的，而不是追逐各種炫酷的新工具。

成功的代理開發(fā)并不需要重新發(fā)明輪子。

關(guān)鍵在于選擇合適的工具，精心集成，并不斷完善原型。無論您是要實現(xiàn)工作流程自動化、構(gòu)建語音代理，還是解析文檔，一個精心挑選的技術(shù)棧都能讓整個流程更加順暢高效。