AI質量專項報告自動分析生成
一、背景
二、應用實踐
1. 實踐效果
2. 數據處理
3. 模型提示詞
4. 優化輸出
三、總結
四、后續規劃
一、背景
在日常工作中，常需要通過各項數據指標，確保驅動版本項目進展正常推進，并通過各種形式報表數據，日常總結日報、周會進展、季度進行總結輸出歸因，分析數據變化原因，做出對應決策變化，優化運營方式，目前在梳理整理校準分析數據需要大量的時間投入、結合整體目標及當前進展，分析問題優化的后續規劃。
常見形式
人工收集
數據來源依賴于各系統平臺頁面，通過人工收集校準后填寫再通過表格公式計算，或者可以通過多維表格工作流觸發通知等功能。
圖片
quickbi報表
通過ODPS搭建自定義報表，實現快速收集數據，復制報表到飛書文檔內進行異動分析。
圖片
平臺能力開發
通過代碼開發文檔導出能力，根據固定模板生成數據分析，該能力開發人力成本較高，需要針對不同平臺數據源定制化開發。
圖片
圖片
AI Studio智能體平臺
近期研發效能AI Studio智能體平臺上線，可以根據需求自定義sop，多模型的可選項，選擇最適合業務的模型。每個工作流節點可自定義流程的判斷分析，輕松上線可投產的AI Agents。
研發效能AI Studio是一個支持工作流編排的AI智能體平臺，基于開源Dify項目二次開發實現，輕松構建并部署生產級 AI 應用。其核心功能包含：
- 以工作流的方式編排AI應用，在工作流中可以添加LLM、知識庫、Agent工具、MCP服務等節點，工作流支持分支流轉、節點循環、自定義節點等高級能力項。
- 支持在工作流中調用公司內部的Dubbo/gRPC服務。
- 知識庫管理，通過構建私有知識庫以增強 LLM 的上下文。
- 與內部平臺集成，支持H5頁面嵌入、API的方式與內部平臺集成。
- 主流模型集成，支持使用多種主流模型如DeepSeek、OpenAI等，支持多模態模型。
研發效能AI Studio平臺對標的業界產品有：
- 扣子：https://www.coze.cn
- FastGPT：https://tryfastgpt.ai
- n8n：https://n8n.io
? 多模型選擇（適配不同業務場景）
? 可視化工作流搭建（支持自定義SOP）
? 全鏈路可觀測性（實時調試優化）
綜上本期實踐利用AI工作流平臺針對報告進行生成分析輸出，讓使用方回歸到聚焦數據歸因分析上，減少數據收集分析、文檔編寫成本。
圖片
二、應用實踐
實踐效果
整體分析數據從哪來->需要輸出什么樣的格式->優化模型輸出結果，三步驟針對輸出結果進行調優。
圖片
自動化成熟度分析工作流搭建案例
圖片
運用效果
圖片
圖片
※ 報告效果
圖片
※ 飛書機器人通知歸因分析
圖片
圖片
數據處理
圖片
LLM：通過用戶輸入分析獲取數據源請求格式，配置好對應數據的映射關系模型自行獲取對應數據。
提示詞輸入
圖片
格式化輸出配置
圖片
http請求：通過用戶輸入分析后的參數構造請求參數，通過固定接口拉取數據，支持curl導入功能。
圖片
圖片
代碼執行：支持python、js代碼對結果數據進行處理過濾，提升分析結果準確性。
圖片
模型提示詞
如文檔整體分為不同模塊可設定不同模型節點處理，每個模塊增加特定提示詞處理節點內容，模型并行分析處理，提升輸出穩定性和輸出效率，再通過LLM輸出整合進行整體輸出。
圖片
在模型輸入上下文及用戶輸入，通過獲取的數據指定輸出格式，設定提示詞，提供AI結合模板輸出對應形式。
圖片
通過銜接上下節點返回內容最終整合報表輸出結果，統一輸出樣式格式。
圖片
優化輸出
切換可用模型
遇到模型輸出不穩定或者未達到預期效果，可切換可用模型，尋找適配模型。
圖片
設定模型預載參數
設定模型預載參數，提升模型輸出準確度。
圖片
優化增加提示詞
優化增加提示詞提升輸出形式穩定性：角色定義 -> 字段映射 -> 模板說明 -> 實際數據填充 -> 輸出格式定義。
## 角色定義
你是一位接口自動化測試專家以及報告生成專家，負責將接口返回的數據映射字段結合模板輸出一份有效的自動化成熟度報告-穩定性部分。
## 接口返回數據字段映射關系：
基礎字段：
bu_name:業務域名稱。
parent_bu_id:業務域。
穩定性指標字段：
total_auto_stability_score：穩定性評分
iter_case_success_rate: 迭代自動化成功率
iter_case_success_rate_cpp: 迭代自動化成功率環比
auto_case_failed_rate: 自動化失敗率
auto_case_failed_rate_cpp: 自動化失敗率環比
case_aigc_avg_score: 用例健壯有效性評分
case_aigc_avg_score_cpp: 有效性評分環比
## 模板：
2.2 自動化穩定性
用表格展示自動化穩定性，表格內容包含所有一級業務域、二級業務域。
表頭按照順序輸出：
1、業務域
2、自動化穩定性評分
3、迭代自動化成功率
4、迭代自動化成功率環比
5、自動化失敗率
6、失敗率環比
7、用例健壯有效性評分
8、有效性評分環比
重點關注項：xxx --僅分析二級業務域的穩定性性指標字段，列出需重點關注指標。
## 模板說明：
1、以html格式輸出，增加內容豐富度，不輸出任何多余內容。
2、表格說明：表格需要包含所有業務域數據。不要省略或者缺少任何業務域數據，將所有業務域展示在同一個表格內。
3、表格行排序：根據評分從高到低排序。
4、環比字段說明：指標環比下降環比字段標記紅色，環比提升字段標記綠色，不標記背景色。
## 任務說明
1、用戶將提供接口返回的JSON數據。
2、根據接口數據和匹配字段映射關系。
3、結合模板以及模板說明html形式輸出，不輸出任何多余內容。
請你根據以上內容，回復用戶，不需要輸出示例。模板轉換
輸出的表格形式通過模板轉化固定輸出html表格形式，提升模型輸出穩定性。
圖片
輸出形式
以markdown形式或以html形式輸出，復制到飛書文檔上進行輸出。
html最終效果
markdown最終效果
圖片
飛書機器人通知歸因分析
圖片
生成飛書文檔
支持飛書應用直接新建飛書文檔，markdown形式輸出。
圖片
對話返回生成后的飛書文檔地址及分析：
圖片
三、總結
在日常工作中如何有效利用數據指標驅動項目進展，現有數據收集和分析流程中面臨的挑戰。通過手動收集數據、生成報表、平臺開發等傳統方式，需要投入大量時間和人力資源，導致工作效率低下。
為此，引入了研發效能AI 智能體平臺，AI工作流平臺不僅改進了數據處理方式，還提升了報告生成的效率和準確性，從而增強了業務洞察力。進一步豐富工作流和知識庫，提高對核心數據指標的分析能力，并針對異常數據指標進行細致剖析，為團隊提供更深入的指導和支持。
此外，相似場景的處理也可以借助AI工作流進行優化，有望在多個業務領域推廣應用。
四、后續規劃
- 豐富工作流：豐富結合知識庫，針對每項核心數據指標提升建議以及業務域現狀給予業務域具體指導建議。
- 明細下鉆分析：獲取對應數據指標異常后，結合明細數據進行分析，具體到用例、人員級別。
- 類似場景可通過AI工作流處理：固定模板數據源報告類、周會均可使用該方法減少人工投入成本。
