說到大模型應用的理想態，我相信很多人都可以想到《鋼鐵俠》里面的賈維斯，可以根據環境、天氣、對手火力等情況，給鋼鐵俠提供決策指導或者自主決策。

大模型Agent就是人們希望借助大模型實現的類似于賈維斯一樣智能助手能力，它具備環境感知能力、自主理解、決策制定以及行動執行的能力。

在實現Agent架構過程中，有很多思維方式和傳統軟件工程思維是相似的。

軟件工程是對物理世界的邏輯映射，所以面向對象思想大行其道（領域驅動的內核也是面向對象）。

Agent架構，則是面向目標的架構，通過感知、思考、行動的緊密結合，完成復雜任務。

圖片

智能體（Agent）是一個可以自主思考，理解用戶需求，還能進行任務拆解，通過調用外部工具擴展自身能力的大模型應用。

圖片

主要包含以下幾部分：推理規劃、獲取存儲記憶、調用外部工具、執行推理動作。

圖片

感知組件：是Agent與外部世界互動的橋梁，負責收集和解析環境數據，就像自動駕駛車輛的雷達、攝像頭、傳感器等感知元器件。

規劃組件：是Agent的大腦，將目標任務拆解為可執行的步驟，制定實現目標的策略，比如項目管理Agent，可以根據項目日期調配資源，分配任務給組員。實現方式主要借助提示詞工程，如ReAct、COT推理實現，使得Agent可以精準拆解任務，分步解決。

記憶組件：記憶分為長期記憶和短期記憶，允許Agent對記憶的存儲和檢索。短期記憶如客服的多輪對話，長期記憶的如存儲用戶特征，業務數據等，通常借助向量數據庫實現快速存取。

工具使用：Agent通過調用外部工具增強自身能力。一般是各種工具或者API、插件等。

行動組件：是Agent執行任務的具體行為，完成對環境的響應。比如一個智能家居控制系統，可以根據環境濕度、光度調節家中照明。

圖片

在具體落地上看，智能體（Agent）是一套工作流，比如可以用coze或者dify以工作流的方式搭建一個智能體，每個編排節點都是調用的外部的API（類似于function call）。

比如UC伯克利打造的端側Agent，slogan就是“為函數調用而生！”

也可以和RAG結合，Agent通過RAG獲取專業知識，如專業數據、學術報告、行業報告等，增強智能體知識的廣度和深度。

圖片

比如一份財報分析Agent，可以自動完成數據收集、分析、報告生成，技術上包括架構設計、Prompt設計、數據獲取、RAG檢索、LLM處理、報告生成等。

圖片

實現Agent，可以借助如LangChain或者LlamaIndex主流大模型基礎組件，里面已經對大模型、文檔加載器、向量數據庫、嵌入模型等做了抽象封裝，可以極大簡化開發過程。

但結合到具體業務之下擴展性較差，難以和企業中現有的IT系統進行低成本集成，也可以選擇自建Agent架構的方法。

在Agent架構落地上，其實和傳統的軟件架構非常像。

最簡單的思路，你可以將大模型視為一個高內聚的存儲與檢索基礎服務。

比如，當用戶通過Prompt發起一個需求時，一個路由組件對Prompt進行推理解析，以及意圖分拆，并將不同的意圖任務路由分發到不同的專有小模型上（可能是通過特定數據微調過的模型）。

圖片

如果需要進行更復雜的任務拆解，可以將路由模塊中的任務推理模塊單獨拆出來，然后將各種專有模型的答案匯總，生成一個較為全面的答案。

圖片

如果想要提升請求響應的速度和解決模型幻覺和推理慢的問題，可以在架構中引入緩存或者向量數據庫。

因為有了緩存，后續類似Prompt的檢索答案生成速度就很快了。

圖片

上面幾種架構面對的都是較為簡單的場景需求，但它們也算是Agent，一個標準的Agent應該是包含規劃、執行、觀測、重新規劃幾部分的。

圖片

對于用戶輸入的Prompt，Agent首先做規劃，將需求拆解成若干子任務，然后對每個子任務分別執行，同時對每一步執行過程和結果進行觀測，如果出現觀測不合格的情況，就重新規劃-執行，直到觀測結果合格生成答案。

圖片

更復雜的Agent架構，是將以上幾種模式組合起來。

圖片

隨著大模型越來越成熟，很多問題幻覺、成本問題陸續被解決了。

學習和掌握大模型也不再需要特別專業的知識了，掌握基本的微調基本上可以滿足業務需求，基本上你可以把他當做一個存在和檢索中間件使用了。

在了解和落地大模型應用過程中，越來越發現傳統的軟件工程的價值并不是消失，反而變大了。

因為軟件工程思想，本質上是一種工程思維，是一種以合理抽象、低成本擴展為核心的建模思想，大模型再強大，目前也只能是工具屬性，作為整個數字化、智能化業務架構中的一環，軟件工程思維，可以非常直觀的讓你知道大模型應該嫁接在哪里，以及如何更好的發揮大模型的價值。