還在為AI數據發愁？張文濤和鄂維南院士團隊推出Data-centric AI系統

2025-07-09 09:05:47

張文濤和鄂維南院士團隊提出了以數據為中心的 AI 系統 DataFlow。

1. 基本介紹

近年來，大模型發展主要由大型科技公司主導，其領先的核心在于規模龐大且高質量的數據資源。然而，這些公司通常并不公開其原始數據及數據處理工具，使得學術界在大模型訓練數據的構建與優化方面難以追趕，受制甚深。

盡管近年來開源了大量數據集，學術界在大模型數據準備方面仍面臨諸多挑戰。目前，大模型訓練數據的清洗與構建仍主要依賴各個研究團隊 “閉門造車”，缺乏系統化、高效的工具支持。現有的數據處理工具如 Hadoop 和 Spark 等，支持的操作算子大多偏向傳統方法，尚未有效集成基于最新大語言模型（LLMs）的智能算子，對于構建先進大模型的訓練數據支持有限。

為此，張文濤和鄂維南院士團隊提出了以數據為中心的 AI 系統 DataFlow。它系統實現了 100 余個基于規則、本地大模型或大模型 API 的數據治理算子（Operators），并在此基礎上構建 8 條預設數據處理流水線（Pipeline），包括：大規模嘈雜數據（如 PDF 文檔、純文本、低質量問答數據、爬蟲數據等）的清洗、擴增與評估；帶有思維鏈的強推理數據合成；RAG 數據提取與合成等等主流數據治理需求。該系統可供用戶靈活組織現有算子，開發新算子，修改現有流水線，組裝定制化流水線，以滿足多樣的數據治理任務。

目前 DataFlow 全面支持文本模態的數據治理，可供大語言模型（LLM）的預訓練（Pre-training）、有監督微調（Supervised Finetuning）、強化學習微調（Reinforcement Finetuning ）使用。經過治理的數據可以有效提升大語言模型在通用領域的推理能力和檢索能力，與醫療、金融、法律等特定領域的性能。此外，多模態版本的 DataFlow 正在如火如荼開發中，會在不久的將來與大家見面。

官方文檔：https://opendcai.github.io/DataFlow-Doc
Github 官方倉庫：https://github.com/OpenDCAI/DataFlow

2.設計理念

DataFlow 框架的數據處理邏輯主要分為算子層 (operator) 和流水線層 (pipeline)。其次，DataFlow 通過數據管理類（storage）實現讀寫管理，大模型后端類（LLMServing）支持算子調用大模型，進而實現對數據的復雜過濾、擴增和評分。此外，我們還設計了 Agent for DataFlow 模塊。使用大模型 Agent 實現多種智能數據治理功能：(1) 根據用戶描述自動編排算子構成新 Pipeline (2) 根據用戶描述自動編寫新算子 (3) Agent 自動解決數據分析任務。

2.1 框架設計

數據管理：DataFlow 現階段主要支持大模型文本數據處理，為提高易用性，DataFlow 內核使用 pandas 的 DataFrame 數據表作為載體實現讀寫數據。
大模型后端：目前 DataFlow 支持兩種后端，包括：

（1）使用 vLLM 或 SGLang 作為本地推理后端，在本地 GPU 部署大模型作為推理服務。支持算子決策。

（2）使用 request 方式向大模型服務商的 API（如 ChatGPT，Deepseek）發起請求，并支持多進程并發請求。

2.2 功能設計

DataFlow 算子是基本數據處理單元，通常基于規則、深度學習模型或大語言模型（LLM）實現處理邏輯。
DataFlow Pipeline 是對多個 DataFlow 算子的有序編排，旨在完成一個完整的數據處理任務。DataFlow 目前提供了 8 條完整流水線以供參考，用戶可以自定義修改。
DataFlow Agent 是一個基于多智能體協同的自動化任務處理系統，覆蓋 “任務拆解 → 工具注冊 → 調度執行 → 結果驗證 → 報告生成” 完整流程，致力于復雜任務的智能化管理與執行。

2.3 DataFlow 具體示例：