AI Agent重塑微服務(wù)治理
1.項(xiàng)目背景
傳統(tǒng)場景下，軟件的研發(fā)主要依靠人，需求溝通、開發(fā)、測試、部署等階段都需要大量人力投入。大模型優(yōu)秀的代碼生成和一定的思維鏈推理能力，能夠激發(fā)微服務(wù)研發(fā)、運(yùn)維等環(huán)節(jié)“智能涌現(xiàn)”，重塑軟件研發(fā)全生命周期。
商業(yè)產(chǎn)品包含效果廣告（搜索廣告，信息流廣告）和展示廣告（品牌廣告，開屏廣告）兩大類廣告產(chǎn)品，以及基木魚和觀星盤、電商等營銷工具。為了保障復(fù)雜系統(tǒng)的穩(wěn)定性，業(yè)務(wù)同學(xué)需投入大量人力運(yùn)維微服務(wù)，從而保證業(yè)務(wù)功能快速交付和線上高穩(wěn)定性。這些工作包含兩類：
- 常規(guī)流程操作：日常上線部署、調(diào)整部署和發(fā)布 API、配置修改、路由參數(shù)更改等常規(guī)操作。
- SRE架構(gòu)優(yōu)化：技術(shù)棧持續(xù)升級，針對線上報(bào)警等穩(wěn)定性問題，進(jìn)行深層次的根因定位和故障處理、架構(gòu)優(yōu)化。
平臺工程團(tuán)隊(duì)面向商業(yè)產(chǎn)品打造的 Jarvis 平臺，提供了一整套的運(yùn)維工具包括自動(dòng)化部署和微服務(wù)治理分析能力。但是這些治理工具存在以下問題：
圖片
- 組合操作復(fù)雜：完成單一目的需要大量的組合操作，這些操作入口深（隱藏在重重菜單中），鏈路長。
- 強(qiáng)依賴人工經(jīng)驗(yàn)：對于根因定位和故障處理、架構(gòu)優(yōu)化， Jarvis 平臺開發(fā)了微服務(wù)治理、性能分析、自動(dòng)化監(jiān)控、調(diào)用鏈分析等高階能力。但是這些工具使用門欄較高，定位問題嚴(yán)重依賴于人工經(jīng)驗(yàn)。如果對該業(yè)務(wù)應(yīng)用無運(yùn)維經(jīng)驗(yàn)，則需要耗費(fèi)大量時(shí)間去定位止損和優(yōu)化架構(gòu)。
圖片
為了提升商業(yè)產(chǎn)品維護(hù)的效率問題，Jarvis 平臺使用 AI 原生應(yīng)用思維來全新重塑產(chǎn)品形態(tài)，革命性提升業(yè)務(wù)研發(fā)運(yùn)維效率，基于多智能體架構(gòu)將專家經(jīng)驗(yàn)內(nèi)化，大幅降低使用門檻，顯著提升微服務(wù)維護(hù)的效率（包括故障處理和根因定位、架構(gòu)優(yōu)化、部署操作等）。
主要有兩個(gè)關(guān)鍵環(huán)節(jié)：
- 全流程對話式交互：用戶依靠自然語言發(fā)出指令，多輪持續(xù)對話完成一項(xiàng)完整的升級操作，比如灰度發(fā)布、配置限流熔斷、流量錄制和回放等復(fù)雜操作。
- LLM 推理診斷處理：基于定位問題的經(jīng)驗(yàn)，依靠LLM的推理能力，進(jìn)行根因分析，通過智能診斷、報(bào)警等機(jī)制來驅(qū)動(dòng)系統(tǒng)故障的高效處理，實(shí)現(xiàn)人工運(yùn)維經(jīng)驗(yàn)的可復(fù)制性。
2.效果演示
應(yīng)用使用JarvisBot 升級到j(luò)dk17（全流程對話式交互）
- 用戶要求升級 JDK17；
- DirectorAgent解析SOP規(guī)劃執(zhí)行路徑，組裝CoderAgent、OpsAgent解決該需求；
- CoderAgent自動(dòng)升級代碼并發(fā)出CR；代碼負(fù)責(zé)人 CR 合入；
- OpsAgent部署上線，并將錄制流量回放保證服務(wù)正常，承接線上流量；
基于思維鏈推理的報(bào)警處理（LLM 推理診斷處理）
- 用戶要求診斷錯(cuò)誤日志報(bào)警；
- DirectorAgent解析 SOP 規(guī)劃執(zhí)行路徑，組裝DiagnosisAgent、OpsAgent解決該問題；
- DiagnosisAgent拉取 Metrics 日志和 Tracing 日志定位到問題實(shí)例，提出”屏蔽實(shí)例“優(yōu)化建議；
- 用戶確認(rèn)后，OpsAgent執(zhí)行優(yōu)化止損操作；
3.基于SOP的多智能體協(xié)作
3.1 業(yè)界探索
圖片
單個(gè)AI智能體=LLM+記憶+規(guī)劃+工具等，參考述上OpenAI理論基礎(chǔ)。
多智能體則需要由多個(gè)Agent依靠既定SOP互相進(jìn)行交流，從而保證智能體能夠正確的合力完成一個(gè)復(fù)雜的長程任務(wù)。智能體的關(guān)鍵在于SOP，是不同工種技能的關(guān)鍵，能讓每一個(gè)智能體扮演一個(gè)特定角色。
SOP指的是Standard Operating Procedure，即標(biāo)準(zhǔn)操作程序，它提供了執(zhí)行特定任務(wù)所需涉及的角色分工和詳細(xì)操作步驟，以確保在不同情況下都能保持作業(yè)結(jié)果的準(zhǔn)確性和高效性。SOP 在軟件開發(fā)、系統(tǒng)維護(hù)和團(tuán)隊(duì)協(xié)作中起著重要作用，有助于確保開發(fā)人員遵循最佳實(shí)踐、減少錯(cuò)誤和提供工作效率。
為了解決項(xiàng)目開篇提到用戶需求，系統(tǒng)為了快速產(chǎn)出大量的能力，因此經(jīng)過多次迭代，有了一系列演進(jìn)：
△SOP架構(gòu)演進(jìn)
階段一：多智能體協(xié)作。Agent 之間需要相互調(diào)用才能完成復(fù)雜的對話目標(biāo)。但是Agent 的工作存在大量重復(fù)，比如幾乎所有智能體都需要調(diào)用底層的 API agent進(jìn)行數(shù)據(jù)查詢，診斷的智能體其實(shí)也需要大量的優(yōu)化操作。智能體直接的邊界非常不清晰，交互的方式也比較多樣，有通過自然語言，有通過直接調(diào)用的，非?；靵y。
圖片
階段二：智能體協(xié)作SOP 標(biāo)準(zhǔn)化。通過標(biāo)準(zhǔn)操作程序（SOPs）編碼作為智能體Prompt，指導(dǎo)大模型按照結(jié)構(gòu)化流程工作并協(xié)調(diào)智能體各個(gè)環(huán)節(jié)，允許具有領(lǐng)域?qū)ｉL的智能體驗(yàn)證輸出并減少復(fù)合錯(cuò)誤，有效避免大模型的幻覺問題。SOPs 總結(jié)人工操作流程經(jīng)驗(yàn)，從而讓 agent 的職責(zé)和產(chǎn)出結(jié)果標(biāo)準(zhǔn)化、agent 間的協(xié)作完全符合要求。
3.2 SOP格式定義
問題場景 | SOP |
自然語言描述的場景 | 自然語言描述的操作步驟 |
舉例：
問題場景 | SOP |
錯(cuò)誤日志報(bào)警診斷分析 | 1：信息收集，收集要診斷排查的所有相關(guān)數(shù)據(jù)和信息 2：分析診斷，分析診斷具體的原因 3： 止損建議，根據(jù)診斷原因給出止損建議 |
信息收集 | 1. [TOOL]查詢錯(cuò)誤信息詳情，獲取結(jié)果列表中第一條數(shù)據(jù)traceId, stack_error_message, localBns 2. [TOOL]查詢錯(cuò)誤日志信息，獲取traceId相關(guān)聯(lián)的所有日志信息 |
分析診斷 | 1. [TOOL]分析錯(cuò)誤日志信息，根據(jù)日志信息總結(jié)錯(cuò)誤根因 2. [TOOL]分析錯(cuò)誤信息詳情，根據(jù)錯(cuò)誤信息的描述和stack_error_message分析錯(cuò)誤原因 |
止損 | 1. [TOOL]查詢止損建議，根據(jù)診斷原因查詢止損建議 |
4.多智能體架構(gòu)落地實(shí)踐
JarvisBot是一個(gè)中樞神經(jīng)模塊，做決策和觸發(fā)任務(wù)，不做具體的業(yè)務(wù)邏輯。它鏈接用戶（LUI層）和業(yè)務(wù)層，跟用戶進(jìn)行自然語言的交互，理解自然語言描述的SOP ，指揮底層系統(tǒng)完成對應(yīng)的任務(wù)。它的幾個(gè)重要部分包括：
- Agents（智能體集合）：包含DirectorAgent（技術(shù)負(fù)責(zé)人）、CoderAgent（程序員）、OpsAgent（操作智能體）、DiagnosisAgent（診斷智能體）等一系列智能體。
智能體都基于 BaseAgent 構(gòu)建，具有基礎(chǔ)的 SOP 理解和LLM ReAct 思維鏈規(guī)劃能力。
△Agent基座框架
不同的 Agent 具有不同的技能，比如DirectorAgent規(guī)劃智能體工作流、CoderAgent監(jiān)聽PRD生成代碼，DiagnosisAgent監(jiān)聽診斷類問題產(chǎn)生診斷結(jié)論等。
Agents之間通過消息總線進(jìn)行交互，不同的 Agent 產(chǎn)生和訂閱不同主題的消息。
- 知識管理端：管理各種靜態(tài)數(shù)據(jù)，并提供一定的自動(dòng)化手段進(jìn)行更新。比如借助數(shù)據(jù)飛輪管理和優(yōu)化Prompts，錄入并管理 SOP，自動(dòng)化錄制知識。
- 工具集合：鏈接底層業(yè)務(wù)接口，封裝一些復(fù)雜操作，通過HTTP或者 RPC 請求獲取業(yè)務(wù)模塊的數(shù)據(jù)。
- 模型管理：對模型一些的封裝管理，包括一些重試策略、排隊(duì)算法等。
下圖是一個(gè)典型的基于 SOP解決診斷問題的流程圖：
圖片
5.數(shù)據(jù)飛輪驅(qū)動(dòng)多智能體架構(gòu)持續(xù)進(jìn)化
既然SOP是驅(qū)動(dòng)多智能體協(xié)作的關(guān)鍵，如何持續(xù)產(chǎn)出 SOP 是讓多智能體架構(gòu)真正具有自主進(jìn)化的能力關(guān)鍵。如何產(chǎn)出 SOP依賴于數(shù)據(jù)提煉的能力。因此：如何構(gòu)建數(shù)據(jù)飛輪并且利用數(shù)據(jù)飛輪持續(xù)優(yōu)化提煉SOP， 是實(shí)現(xiàn)多智能體持續(xù)進(jìn)化的關(guān)鍵。
圖片
5.1 大小模型飛速協(xié)同進(jìn)化，是智能性進(jìn)化的根基
智能體架構(gòu)底層依靠一系列不同尺寸的模型。其中通用大模型用于通用知識理解和復(fù)雜推理，輕量級模型用于SFT 微調(diào)。
圖片
上表看出，模型尺寸越小，成本越低、響應(yīng)速度越快，但是通識能力和復(fù)雜問題推理能力就越來越差。
JarvisBot智能體的核心思路是用大模型教會小模型，借助大模型去構(gòu)建小模型SFT訓(xùn)練優(yōu)質(zhì)數(shù)據(jù)集，在不同細(xì)分場景大量的使用小模型，從而達(dá)到智能性和成本的完美平衡。
△不斷剪裁模型尺寸
△大模型教會小模型
△大小模型協(xié)同進(jìn)化架構(gòu)
基于離線AI 對話評估系統(tǒng)利用規(guī)則庫、參考?xì)v史相似語料打分、語料聚類抽樣、多LLM（文心4、GPT4、專精SFT模型等）群體智能打分，評估線上對話語料。單日機(jī)器可自動(dòng)完成評估對話條目4w+，產(chǎn)出大量的評估報(bào)告推動(dòng)JarvisBot從產(chǎn)品、LUI技術(shù)解析和模型基座多個(gè)角度飛速進(jìn)化。
圖片
5.2 如何實(shí)現(xiàn)持續(xù)進(jìn)化—數(shù)據(jù)飛輪訓(xùn)練專家模型，自動(dòng)提煉SOP
通過自動(dòng)化評估系統(tǒng)，可以不斷評估智能體的智能性，不斷洞察用戶的需求，包括產(chǎn)品功能使用情況、未滿足的功能訴求、用戶習(xí)慣操作動(dòng)線等。借助數(shù)據(jù)飛輪可以不斷訓(xùn)練出專家模型，自動(dòng)提煉SOP，從而幫助多智能體不斷的持續(xù)進(jìn)化。
圖片
6.AI Agent微服務(wù)治理平臺Jarvis總結(jié)
圖片
