來了！十個構(gòu)建Agent的大模型應用框架
原創(chuàng)隨著生成式人工智能（GenAI）的蓬勃發(fā)展，基于大型模型的應用已經(jīng)悄然融入我們的日常工作和生活，它們在諸多領(lǐng)域中顯著提升了生產(chǎn)力和工作效率。為了更便捷地構(gòu)建這些基于大模型的應用程序，開源社區(qū)和產(chǎn)品開發(fā)者們正以前所未有的速度進行創(chuàng)新。
在這些創(chuàng)新中，面向智能體（Agent）的應用，即所謂的Agentic AI，已經(jīng)嶄露頭角，成為近年來生成式AI系統(tǒng)中最具潛力的明星。眾多構(gòu)建智能體應用的框架如雨后春筍般涌現(xiàn)，它們?yōu)殚_發(fā)者提供了強大的工具和平臺。在此，我們將重點介紹10個具有代表性的Agent應用構(gòu)建框架，并對其他常見的框架進行簡要概述，以期為大家提供一個相對全面的視角，了解這一領(lǐng)域的現(xiàn)狀和潛在趨勢。
1. LlamaIndex
LlamaIndex 最初是一個專注于大模型應用程序的數(shù)據(jù)框架，但如今它的功能已經(jīng)遠遠超出了數(shù)據(jù)處理的范疇。它現(xiàn)在涵蓋了AI Agent、文檔解析與索引、工作流管理、基于連接器的集成、模塊化設(shè)計以及高度可擴展性等多種功能，成為了一個功能豐富的開發(fā)平臺。
LlamaIndex還提供了一個名為 LlamaCloud 的 SaaS 功能，這是一個專門為 AI 智能體設(shè)計的知識管理中心。通過 LlamaCloud，開發(fā)者可以更高效地管理和利用數(shù)據(jù)，為智能體提供強大的知識支持。此外，LlamaIndex 還有一個獨特的產(chǎn)品叫 LlamaParse，它能夠?qū)碗s的指令數(shù)據(jù)轉(zhuǎn)換成適合大語言模型處理的優(yōu)化格式，從而提升模型的性能和準確性。
圖片
LlamaHub 是 LlamaIndex生態(tài)系統(tǒng)中的一個重要組成部分，它是一個集成了搜索式智能體、大語言模型、向量存儲、數(shù)據(jù)加載器等工具的中心化平臺。LlamaHub 特別適合用于構(gòu)建數(shù)據(jù)密集型的大語言模型應用程序，比如知識密集型的聊天機器人、問答系統(tǒng)等。借助 LlamaCloud的強大能力，開發(fā)者可以高效地解析和索引復雜的文檔，這使得 LlamaIndex 成為那些希望快速推出產(chǎn)品的企業(yè)的理想選擇。
盡管 LlamaIndex的核心優(yōu)勢在于數(shù)據(jù)索引和檢索，它在復雜的智能體行為和決策方面的功能相對較少。不過，LlamaIndex正在朝著支持更智能的 Agentic 應用程序方向發(fā)展，展現(xiàn)出了巨大的潛力。未來，它可能會在智能體行為管理和決策支持方面提供更多創(chuàng)新功能，進一步擴展其應用場景。
總的來說，LlamaIndex 是一個功能強大且靈活的工具，特別適合需要處理大量數(shù)據(jù)并快速構(gòu)建知識密集型 AI 系統(tǒng)的開發(fā)者。無論是企業(yè)還是個人開發(fā)者，都可以利用 LlamaIndex 的強大功能來加速開發(fā)進程，同時保持高度的可擴展性和模塊化設(shè)計。
2. LangChain
LangChain是目前最受歡迎的大模型應用開發(fā)框架之一，幾乎成為了構(gòu)建大模型應用的行業(yè)標準。它在 GitHub 上擁有超過 10 萬顆星，吸引了超過 100 萬開發(fā)者使用，形成了一個龐大且活躍的社區(qū)。這個社區(qū)不僅提供了豐富的知識共享，還推動了 LangChain的快速發(fā)展。LangChain提供了全面的功能支持，包括與各種供應商的集成、云服務支持、第三方庫的兼容性，以及多種向量數(shù)據(jù)庫的選擇，這些特性使得它成為開發(fā)者構(gòu)建大模型應用的首選工具。
LangChain是企業(yè)構(gòu)建GenAI應用程序的理想選擇，它提供了基礎(chǔ)構(gòu)建模塊，幫助企業(yè)快速搭建定制化的 AI 框架。由于 LangChain的廣泛采用和強大的兼容性，它特別適合需要與第三方供應商或服務集成的場景。無論是云服務、數(shù)據(jù)源，還是其他 AI 工具，LangChain 都能提供前瞻性的支持，確保企業(yè)能夠靈活應對未來的技術(shù)變化。
圖片
然而，LangChain 的強大功能也帶來了一定的復雜性。它的學習曲線相對陡峭，尤其是對于新手開發(fā)者來說，可能需要花費更多時間掌握其豐富的集成選項和代碼結(jié)構(gòu)。此外，LangChain 的快速迭代和功能更新要求開發(fā)者不斷跟進，這可能會導致代碼維護的挑戰(zhàn)，比如遇到破壞性更新或庫不兼容的問題。
盡管如此，LangChain 的影響力已經(jīng)超越了 Python 社區(qū)，激發(fā)了其他編程語言的開發(fā)者構(gòu)建類似的框架。例如，Java 開發(fā)者可以使用 LangChain4J，Golang 開發(fā)者可以使用 LangChainGo，而 C# 開發(fā)者也有專門的 LangChain for C#。這些衍生框架進一步擴展了 LangChain的生態(tài)系統(tǒng)，為更多開發(fā)者提供了構(gòu)建大模型應用的工具和可能性。
總的來說，LangChain是一個功能強大且靈活的工具，特別適合需要高度定制化和集成能力的企業(yè)級應用。但對于一些簡單或特定場景的需求，開發(fā)者也可以根據(jù)實際情況選擇其他更輕量級的框架，以降低復雜性和學習成本。
3. Langgraph
LangGraph 框架是由 LangChain 團隊開發(fā)的一個開源工具，專門用于構(gòu)建和管理智能體系統(tǒng)。這個框架的核心優(yōu)勢在于它提供了一個靈活且強大的平臺，支持開發(fā)者設(shè)計和實現(xiàn)復雜的多智能體工作流。LangGraph Platform則是 LangGraph 的商業(yè)版本，專為將智能體應用程序部署到生產(chǎn)環(huán)境而設(shè)計。它提供了許多高級功能，包括有狀態(tài)的設(shè)計、基于圖形的工作流管理、多智能體協(xié)作、與 LangChain 的無縫集成、增強的LangSmith 監(jiān)控工具、IDE 支持以及更廣泛的社區(qū)資源。這些特性使得 LangGraph Platform 成為企業(yè)級應用的理想選擇。
LangGraph特別適合用于開發(fā)企業(yè)級的多智能體系統(tǒng)。它的開源性質(zhì)意味著它擁有廣泛的社區(qū)支持，并且能夠與各種不同的解決方案和產(chǎn)品進行集成。這種前瞻性的設(shè)計使得 LangGraph 能夠滿足企業(yè)在兼容性方面的多樣化需求。此外，LangGraph 與 LangChain生態(tài)系統(tǒng)的緊密結(jié)合，減少了企業(yè)在使用多個框架時的冗余問題，簡化了開發(fā)流程。
圖片
對于企業(yè)用戶來說，LangGraph 的商業(yè)版本提供了更多高級功能，如安全性增強、可視化開發(fā)工具和更強大的監(jiān)控能力。這些特性使得企業(yè)能夠更輕松地管理和維護復雜的智能體系統(tǒng)，同時確保系統(tǒng)的穩(wěn)定性和安全性。
然而，與 LangChain類似，開發(fā)者在處理依賴關(guān)系和框架復雜性時可能會遇到一些挑戰(zhàn)。這些挑戰(zhàn)主要來自于系統(tǒng)的復雜性和對高性能的需求。盡管如此，LangGraph 的設(shè)計目標之一就是通過提供清晰的文檔和強大的工具來幫助開發(fā)者克服這些障礙，從而更高效地構(gòu)建和部署智能體應用程序。
4. AutoGen
Autogen 是由 微軟 開發(fā)的一個編程框架，專門用于構(gòu)建 Agentic AI和基于大模型的應用程序。它提供了一個高層次的抽象框架，支持多智能體之間的協(xié)作和會話，非常適合構(gòu)建復雜的 AI 系統(tǒng)。Autogen 的核心特性包括：
- 異步消息傳遞智能體之間可以高效地異步通信，提升系統(tǒng)響應速度。
- 模塊化和可擴展框架設(shè)計靈活，開發(fā)者可以根據(jù)需求輕松擴展功能。
- 可觀察性和調(diào)試提供強大的工具，幫助開發(fā)者監(jiān)控和調(diào)試智能體的行為。
- 可伸縮性和分布式支持能夠處理大規(guī)模任務，并支持分布式部署。
- 內(nèi)置和社區(qū)擴展除了內(nèi)置功能外，還支持社區(qū)開發(fā)的插件和擴展。
- 跨語言支持和全類型支持兼容多種編程語言，并提供完整的類型安全支持。
- 增強的大模型推理 API優(yōu)化大語言模型的推理性能，同時降低成本。
Autogen 特別適合與 開源系統(tǒng) 和 微軟生態(tài)系統(tǒng) 結(jié)合使用，是構(gòu)建 Agentic AI 和大模型應用的理想選擇。它提供了一個不斷發(fā)展的生態(tài)系統(tǒng)，能夠支持各種領(lǐng)域和復雜度的應用需求。此外，Autogen 還提供了一個名為 Autogen Studio 的 UI 工具，開發(fā)者可以通過圖形化界面進行智能體的原型設(shè)計和管理，甚至無需編寫代碼。
圖片
需要注意的是，Autogen 目前仍處于 試驗階段，尚未完全成熟到可以投入生產(chǎn)環(huán)境。不過，如果你正在研究復雜的智能體交互、設(shè)計新的多智能體系統(tǒng)，或者想嘗試先進的 AI 智能體架構(gòu)，Autogen 是一個非常值得探索的工具。
雖然 Autogen 是一個開源框架，但它對 微軟解決方案 的依賴性可能會因組織的技術(shù)棧而有所不同。此外，基于 Autogen 的商業(yè)解決方案 Magentic-One 提供了更高級的功能，例如為企業(yè)量身定制的高性能通用智能體系統(tǒng)。不過，Autogen 的復雜性（尤其是在企業(yè)內(nèi)部使用時）仍然是一個需要關(guān)注的問題，可能需要更多的技術(shù)支持和優(yōu)化。
Autogen 是一個功能強大且靈活的框架，適合用于研究和原型設(shè)計。如果你對多智能體系統(tǒng)和 AI 智能體設(shè)計感興趣，它無疑是一個值得嘗試的工具。不過，對于生產(chǎn)環(huán)境的使用，建議等待其進一步成熟或考慮基于 Autogen 的商業(yè)解決方案。
5. Semantic Kernel
Semantic Kernel 是由 微軟 提供的一個強大工具，專為構(gòu)建穩(wěn)定且高度集成的企業(yè)級應用程序而設(shè)計。作為一個適合生產(chǎn)環(huán)境的 SDK，它能夠?qū)⒋竽Ｐ秃蛿?shù)據(jù)存儲無縫集成到應用中，幫助企業(yè)打造高質(zhì)量的GenAI解決方案。Semantic Kernel 支持多種編程語言，包括 C#、Python 和 Java，并且在預覽版中已經(jīng)引入了智能體和流程框架，使開發(fā)者能夠構(gòu)建單智能體和多智能體系統(tǒng)。
核心功能：
- 智能體框架：這是 Semantic Kernel 的核心部分，提供了一個平臺，允許開發(fā)者將 AI 智能體嵌入到任何應用程序中。無論是簡單的任務自動化，還是復雜的多智能體協(xié)作，都能輕松實現(xiàn)。
- 流程框架：這個框架專注于優(yōu)化 AI 與業(yè)務流程的集成，幫助企業(yè)將 AI 能力無縫融入現(xiàn)有的工作流中，提升效率和智能化水平。
Semantic Kernel 提供了多種語言的 SDK，包括 Python、C#、.NET 和 Java，滿足了不同開發(fā)者的需求。特別是在 微軟 Azure 環(huán)境中，微軟還為開發(fā)者提供了豐富的培訓和支持資源，幫助團隊快速上手。
圖片
Semantic Kernel 屬于 SDK 類別，與其他提供更高層次抽象和用戶界面的框架相比，它更適合需要深度定制和集成的企業(yè)級應用。不過，需要注意的是，Semantic Kernel 的智能體框架目前仍在不斷演進中，尤其是對 Java 的支持還不夠完善，Java 開發(fā)者可能需要等待后續(xù)更新。
如果你正在尋找一個功能強大、靈活性高的工具來構(gòu)建企業(yè)級 GenAI 應用，Semantic Kernel 是一個值得考慮的選擇。它特別適合那些已經(jīng)在使用微軟技術(shù)棧（如 Azure）的企業(yè)，能夠幫助團隊快速實現(xiàn) AI 能力的落地。盡管它的智能體框架還在發(fā)展中，但其強大的集成能力和多語言支持已經(jīng)讓它成為生產(chǎn)環(huán)境中的有力競爭者。
6. AutoGPT
由Significant Gravitas開發(fā)的AutoGPT，是一個功能強大的平臺，它讓創(chuàng)建、部署和管理那些能夠自動化處理復雜工作流的連續(xù)AI智能體變得觸手可及。最初，AutoGPT是建立在OpenAI的GPT技術(shù)之上的，但隨著時間的推移，它已經(jīng)擴展了對更多大型模型的支持，比如Anthropic、Groq、Llama等，這使得它的應用范圍更加廣泛。
AutoGPT的亮點在于它的無縫集成能力和低代碼工作流，這意味著即使是編程新手也能輕松上手。它的自主操作和連續(xù)智能體功能，讓智能自動化成為可能，極大地提升了工作效率。此外，AutoGPT以其可靠的性能和可預測的執(zhí)行結(jié)果，贏得了用戶的信賴。對于那些希望在云環(huán)境中構(gòu)建Agent，或者傾向于零代碼或低代碼方式構(gòu)建Agent的用戶來說，AutoGPT無疑是一個理想的選擇。盡管它提供了自托管的解決方案，但設(shè)置的復雜性相對較高，這可能需要一定的技術(shù)背景。
然而，企業(yè)可能會對供應商的依賴和鎖定訪問高級特性感到擔憂。目前，AutoGPT采用雙重許可證模式，許可證支持的復雜性是一個不可忽視的考量因素。此外，如何整合額外的大模型以及獲得如谷歌Gemini等社區(qū)的支持，也是AutoGPT面臨的關(guān)鍵挑戰(zhàn)。這些因素都可能影響企業(yè)的選擇，因此在考慮采用AutoGPT時，企業(yè)需要權(quán)衡利弊，確保它能夠滿足自己的需求。
7. CrewAI
CrewAI，這一新興的多智能體框架，以其構(gòu)建和部署工作流應用程序的能力，以及其對多種大模型和云服務提供商的廣泛支持，正逐漸嶄露頭角。它的多智能體協(xié)作能力、結(jié)構(gòu)化的工作流設(shè)計、用戶友好的界面、靈活的集成選項以及積極的社區(qū)支持，共同構(gòu)成了其引人注目的特點。
圖片
CrewAI已經(jīng)成為增長最快的Agentic AI生態(tài)系統(tǒng)，并在2024年10月成功籌集了1800萬美元的資金。它簡化了創(chuàng)建業(yè)務友好型智能體的過程，使得快速理解GenAI的價值變得輕而易舉，這為縮短產(chǎn)品上市時間和提供即開即用的定制選項提供了便利，尤其適合構(gòu)建如營銷智能體這樣的輕量級智能體。
然而，CrewAI在處理大型企業(yè)特有的復雜場景方面的能力，尤其是在數(shù)據(jù)集成方面，尚未經(jīng)過生產(chǎn)環(huán)境的充分檢驗，這需要進一步的評估和驗證。此外，對于供應商的依賴和潛在的鎖定風險一直是業(yè)界考量的因素，而CrewAI未來是否會被收購，這一問題仍舊懸而未決，給其長遠發(fā)展增添了一絲不確定性。
8. PydanticAI
PydanticAI 是由 PydanticAI 團隊 開發(fā)的一個框架，旨在將 FastAPI 的簡潔和高效帶入GenAI應用開發(fā)中。它通過與 Pydantic Logfire 的集成，提供了強大的可觀測性功能，幫助開發(fā)者實時監(jiān)控和調(diào)試 GenAI 應用程序的運行狀態(tài)。此外，PydanticAI 還支持多種大模型，并能夠與豐富的生態(tài)系統(tǒng)無縫對接。
圖片
PydanticAI 的核心特點包括：- 模型無關(guān)的實現(xiàn)方式：開發(fā)者可以自由選擇不同的大模型，無需被特定模型綁定。- 實時可觀測性：通過 Pydantic Logfire，開發(fā)者可以實時跟蹤應用的性能和狀態(tài)。- 類型安全：基于 Pydantic 的類型系統(tǒng)，確保代碼的健壯性和可維護性。- Pydantic 圖譜支持：幫助開發(fā)者更好地管理和可視化數(shù)據(jù)流。- 依賴注入：簡化復雜依賴的管理，提升代碼的可測試性和模塊化。- 簡單易用：設(shè)計上追求極簡，降低開發(fā)者的學習成本。
PydanticAI 借鑒了 Pydantic 和 FastAPI 的設(shè)計理念，非常適合那些希望與企業(yè)現(xiàn)有技術(shù)棧保持一致，同時追求開發(fā)效率的團隊。它特別適合處理簡單的應用場景，盡管目前框架仍在不斷發(fā)展和完善中，但已經(jīng)展現(xiàn)出了強大的潛力。
如果你正在尋找一個既簡單又靈活的 GenAI 開發(fā)框架，PydanticAI無疑是一個值得嘗試的選擇。
9. Spring AI
Spring AI 的靈感來源于 LangChain，但它專注于為 Java 開發(fā)者提供一個更熟悉的開發(fā)環(huán)境。通過充分利用 Spring 生態(tài)系統(tǒng)，Spring AI 讓開發(fā)者能夠輕松構(gòu)建GenAI應用程序，而無需學習其他框架或編程語言。
圖片
它的主要特點包括：
- 支持多種大語言模型：開發(fā)者可以根據(jù)需求選擇不同的模型，靈活應對各種場景。
- Spring 生態(tài)的可觀測性：借助 Spring 的強大工具，開發(fā)者可以輕松監(jiān)控和調(diào)試 AI 應用的運行狀態(tài)。
- 模型評估功能：幫助開發(fā)者評估和優(yōu)化 AI 模型的性能。
- Advisors API：封裝了常見的生成式 AI 模式，減少重復代碼，提升開發(fā)效率。
- 聊天對話和 RAG（檢索增強生成）支持：讓開發(fā)者能夠快速構(gòu)建智能聊天系統(tǒng)和基于檢索的問答應用。
Spring AI 的最大優(yōu)勢在于它與 Spring 生態(tài)系統(tǒng)的無縫集成。Spring 生態(tài)中豐富的庫和工具（如數(shù)據(jù)連接、異步處理、系統(tǒng)集成等）可以直接用于 GenAI 應用的開發(fā)，極大地簡化了開發(fā)流程。對于已經(jīng)在使用 Spring 的企業(yè)來說，這意味著可以快速上手，無需額外學習成本，同時還能充分利用現(xiàn)有的技術(shù)棧。
總的來說，Spring AI是一個為 Java 開發(fā)者量身定制的 GenAI 開發(fā)框架，既降低了入門門檻，又提供了強大的功能和靈活性，非常適合企業(yè)級應用開發(fā)。
10. Haystack
Haystack 是由 deepset 開發(fā)的一個開源框架，專門幫助企業(yè)構(gòu)建生產(chǎn)級的 大模型應用、RAG（檢索增強生成）流水線以及復雜的搜索應用。它采用了模塊化設(shè)計，能夠靈活集成多種技術(shù)，比如 OpenAI 的模型、Chroma 的向量數(shù)據(jù)庫、Marqo的搜索工具，以及其他開源項目如 HuggingFace 的 Transformers 和 Elasticsearch。
圖片
如果你正在尋找一個強大的平臺來構(gòu)建基于大語言模型的應用，Haystack 可以很好地與 deepsetCloud 結(jié)合使用。deepsetCloud 是一個專為大模型應用設(shè)計的 AI 平臺，支持在任何云環(huán)境中部署，并且內(nèi)置了 LLMOps功能，能夠幫助你高效管理和優(yōu)化模型。此外，Haystack 還提供了一個基于Jinja 模板 的自定義 RAG 流水線，讓開發(fā)者能夠根據(jù)需求靈活調(diào)整數(shù)據(jù)處理流程。
為了進一步簡化開發(fā)流程，deepset 還推出了 Deepset Studio，這是一個免費的 AI 應用開發(fā)環(huán)境。它不僅支持從開發(fā)到部署的全生命周期管理，還提供了豐富的工具和資源，幫助開發(fā)者更快地構(gòu)建和迭代智能應用。
不過，目前 Haystack 在多智能體（Multi-Agent）方面的能力還處于探索階段，尚未經(jīng)過大規(guī)模實踐驗證。關(guān)于未來的發(fā)展路線圖，官方也還沒有明確發(fā)布，因此我們暫時無法了解它在多智能體領(lǐng)域的更大愿景。如果你對這方面感興趣，可以持續(xù)關(guān)注它的更新動態(tài)。
其他框架
此外，還有一些新興的框架正在快速崛起，它們提供了更多靈活的選擇，值得關(guān)注。以下是幾個比較有代表性的框架：
- AgentBuilder百度推出的智能體開發(fā)工具，支持零代碼和低代碼開發(fā)，適合不同行業(yè)和應用場景，能低成本實現(xiàn)Prompt編排。
- Agno一個輕量級框架，專門用于構(gòu)建多模態(tài)Agent。
- Bee Agent Framework一個開源的TypeScript庫，適合構(gòu)建生產(chǎn)級的多智能體系統(tǒng)。
- CAMEL-AI.org開源的多智能體框架，靈感來自研究論文CAMEL，支持高度定制化的Agent開發(fā)。
- Coze字節(jié)跳動推出的AI Bot開發(fā)平臺，以智能體編排工具的成熟度、插件豐富性和大模型兼容性著稱。
- Dify開源的低代碼/無代碼平臺，通過可視化界面和模塊化設(shè)計，幫助開發(fā)者快速構(gòu)建具備任務分解和推理能力的智能體。
- GLMagent除了基礎(chǔ)智能體生成能力外，智譜推出的GLMAgent還支持通過API調(diào)用實現(xiàn)文本對話、文生圖、聯(lián)網(wǎng)搜索等多樣化功能。
- Firebase Genkit由Google Firebase開發(fā)的開源框架，用于構(gòu)建基于AI的Node.js和Go應用。
- Flowise開源的拖放式UI框架，支持自定義大模型工作流的智能體構(gòu)建。
- HF Smolagents：Hugging Face開發(fā)的開源庫，以簡潔性和對代碼智能體的強大支持為特色。
- Langflow被Datatax收購的開源框架，支持交互式構(gòu)建基于Flow的GenAI應用。
- Modelscope阿里云的多模態(tài)AI Agent框架，結(jié)合低/零代碼設(shè)計，提供豐富的預設(shè)模板，支持靈活定義智能體行為。
- OpenAGI由AI Planet構(gòu)建的簡單框架，用于開發(fā)類人智能體。
- OpenAI Swarm一個輕量級的多智能體編排框架，目前主要用于教育探索。
- MetaGPT支持元編程思想的多智能體構(gòu)建框架。
由于目前對“Agent”這一概念的理解還不夠清晰，甚至存在濫用（比如把簡單的Bot當成Agent），導致市面上的Agent框架良莠不齊。如果你有其他喜歡的Agent框架，歡迎留言補充！
小結(jié)
雖然每個Agent應用框架都具備強大的功能，但由于生成式人工智能領(lǐng)域的快速發(fā)展，這些框架也在不斷更新和改進。選擇哪個框架，主要取決于企業(yè)的具體需求，比如業(yè)務場景、應用類型、安全性要求、性能表現(xiàn)以及其他技術(shù)細節(jié)。
