深陷數據泥潭，渴望洞察

如今，許多組織都深陷數據洪流。信息從銷售系統、營銷工具、運營數據庫、網站以及無數其他來源涌入。然而，盡管信息浩如煙海，要獲得清晰可靠的業務答案卻異常困難。數據常常被困在不同的部門或系統中，難以查找、難以理解，有時甚至不可靠。這是一種常見的挫敗感：原始信息量巨大，但人們真正渴望的是切實可行的洞察。

如果有更好的方法會怎樣？如果組織不再將數據視為運營的技術副產品，而是將其視為產品，會怎樣？這意味著將數據的“消費者”——同事、分析師、數據科學家和其他團隊——視為“客戶”，并專門設計數據產品以有效滿足他們的需求。這種視角的轉變正是一個日益受到廣泛關注的概念的核心：“數據產品”。它代表著從簡單地收集數據到積極管理和包裝數據，使其成為有價值的可消耗資產的轉變。這不僅僅是技術變革，更是對數據在業務中的作用和價值的全新思考方式。

那么，什么是數據產品？

簡單來說，數據產品是為特定目的或受眾設計的即用型、可靠且易于理解的數據包。想象一下，送貨上門的一盒未經烹制的原料和一整套餐食的區別。餐食不僅包含食材，還包含食譜卡、營養信息，甚至可能還有一些預先切好的蔬菜——所有這些東西都能輕松準備一頓特定的飯菜。

同樣，數據產品不僅僅是原始數據。它是一個獨立的、可部署的單元，將數據與有效使用所需的一切捆綁在一起。這個包通常包括：

• 數據本身：核心信息，無論是原始的、清理過的、匯總的還是衍生的。
• 元數據：關于數據的數據——字段描述、定義、來源、質量指標（如產品標簽）。
• 代碼：用于創建或訪問數據的邏輯（例如，轉換腳本、API 訪問代碼）。
• 訪問信息：如何連接和使用數據。
• 服務水平目標 (SLO)：關于其質量、新鮮度和可靠性的承諾。

其核心理念是將成熟的產品開發思維應用于數據世界。它旨在從消費者的角度設計數據解決方案，以解決特定問題或實現特定分析，使其成為分析數據的最小價值單元。這是一種刻意的努力，旨在超越簡單的數據存儲，創造真正符合用途且自身有價值的東西。

數據產品組件——從原始數據到可立即使用的包。

在數據工程中，區分數據產品與更傳統的結構至關重要。例如：

傳統批量加載：這類操作通常需要每晚（或定期）將大量原始數據或少量處理的數據從源系統傳輸到數據倉庫或數據湖等中央存儲庫。雖然它們有助于數據整合，但通常缺乏豐富的元數據、明確的所有權、明確的服務水平目標 (SLO) 以及針對特定業務需求的直接可用性，而這些正是數據產品所特有的。消費者通常需要執行大量的下游工作才能使這些數據可用。

簡單數據 API：雖然 API 提供了數據訪問，但簡單的 API 端點僅僅暴露原始數據表或轉儲數據，缺乏全面的元數據、質量保證或明確的預期用途和生命周期管理定義，因此不屬于數據產品。數據產品的 API 是面向管理完善、可靠且易于理解的數據資產的接口，并包含所有支持組件。

這就是“數據契約”概念變得高度相關的地方。數據產品具有明確的服務水平目標 (SLO)、模式定義、元數據和質量保證，本質上體現了數據生產者與消費者之間的數據契約。這份契約確保消費者了解他們將獲得什么、如何使用它以及他們可以期待什么樣的可靠性。如果數據產品發生變化（例如，模式演變、數據語義變化），契約提供了一個框架來管理這些變化并將其傳達給消費者，從而防止下游流程出現問題并增強對數據的信任。數據契約是一種機制，旨在增強數據產品理念中固有的可靠性和可信度。

數據產品理念的誕生

“數據產品”一詞在 2019 年左右開始流行，這主要歸功于 ThoughtWorks 的 Zhamak Dehghani。她將其作為一項核心原則——“數據即產品”——引入了更廣泛的架構概念“數據網格”。

數據網格本身是一種范式轉變，旨在解決數據倉庫和數據湖等傳統集中式數據方法的局限性，這些局限性往往會成為大型組織的瓶頸。數據網格并非由一個中心團隊管理所有數據，而是倡導將數據所有權分散到特定的業務領域（例如市場營銷、銷售和財務）。

在這樣一個去中心化的世界里，擁有定義明確、高質量、易于共享的數據單元至關重要。數據產品正是這些重要的構建塊，使不同領域的團隊能夠有效地創建、共享和使用數據，而無需僅僅依賴一個中心化的數據團隊。理解這一起源有助于闡明數據產品日益重要的原因：它們通過促進去中心化的數據共享和所有權，成為在現代復雜組織中擴展數據使用和創新的關鍵推動因素。

什么讓數據產品脫穎而出？

并非所有數據都能被歸類為數據產品。要獲得這一稱號，數據需要具備某些特征，使其對消費者真正有用且可靠。這些特征直接解決了人們在處理數據時經常遇到的難題。關鍵特征包括：

1.可發現性：用戶需要能夠輕松找到與其需求相關的數據產品，就像搜索在線目錄一樣。這通常需要一個專門的“數據產品目錄”，其中列出可用的產品并可供搜索。這解決了“我找不到我需要的數據”的問題。

2.易于理解（自描述）：數據產品應提供清晰的文檔和元數據，解釋其內容、字段含義、創建方式及其預期用途——就像清晰的產品標簽一樣。這解決了“我找到了數據，但不知道它的含義或是否適合我”的難題。

3.值得信賴：消費者必須對數據的質量、準確性和時效性充滿信心。數據產品通過公開其質量標準（通常定義為服務級別目標，簡稱 SLO）及其達成情況來實現這一點。可以將其視為一個以可靠性著稱的值得信賴的品牌。這可以消除“我不信任這些數據”的顧慮。

4.自身價值：數據產品應該提供內在價值，無需與許多其他數據集結合才能發揮作用。它代表著一個有凝聚力且有意義的信息概念。這確保用戶能夠立即獲得有用的信息，而不僅僅是需要復雜組裝的原始零件。

其他重要特性通常包括可尋址（具有唯一且穩定的位置）、可訪問（可通過 SQL 或 API 等標準工具使用）、可互操作（易于與其他數據產品結合）以及安全性（具有適當的訪問控制）。這些特性共同構成了數據產品生產者與其消費者之間的“合同”，確保了良好的用戶體驗。

實際數據產品案例

數據產品并非僅限于理論；它們以多種形式存在，通常為常見的應用程序和業務流程提供支持。它們遠不止簡單的數據集。例如：

基于洞察的產品：這些產品提供可供決策的已處理信息。

銷售績效儀表板顯示為銷售經理精心挑選的收入、渠道和區域績效等關鍵指標。

自動為銀行客戶計算信用風險評分，以簡化貸款申請。

YNAB 或 Mint 等應用程序提供的個人理財洞察，分析消費模式。

算法/自動決策產品：這些產品使用數據來驅動自動化操作或復雜的建議。

Netflix 或 Amazon 等平臺上的推薦引擎根據用戶行為推薦電影或產品。

預測分析工具，例如 Zillow 估算房屋價值或預測客戶流失的模型。

GPS 導航應用程序提供實時路線指引。

基于主數據的產品：這些產品提供了關鍵業務實體的綜合、標準化視圖。

精心策劃的“黃金客戶記錄”數據集結合了來自 CRM、銷售和支持系統的信息，用于營銷的統一客戶視圖。

數據集/數據即服務產品：這些產品通常通過 API 提供對精選數據或原始數據的訪問。

各種應用程序用來顯示天氣信息的天氣預報 API。

用于電子商務的動態定價產品數據集，根據庫存水平和到期日期調整價格。

清理并記錄以電子表格或數據庫表形式提供的競爭對手定價數據。

這些示例展現了數據產品的多樣性。無論是簡單的報告、復雜的機器學習模型，還是基礎數據集，其共同點在于運用“產品思維”——設計、打包和管理數據資產，以實現可用性、可靠性和價值。

小結：為什么要關心數據產品

將數據視為產品不僅僅是采用新的術語；它是一種克服常見數據挑戰的實用方法。通過關注數據消費者的需求并運用產品管理原則，組織可以使其數據更加：

• 可發現：人們更容易找到他們需要的東西。
• 易于理解：含義和背景更清晰。
• 值得信賴：更高的質量和可靠性。
• 可訪問且可用：更輕松地集成到分析和工作流程中。

數據產品的最終目標是打破數據孤島，促進協作，并賦能組織內更多人員有效利用數據，從而做出更優、更快速的決策。它有助于將數據從復雜的技術挑戰轉變為隨時可用的資產，從而推動創新并創造切實的商業價值。

未來展望：數據產品和代理人工智能的興起

隨著代理人工智能 (Agentic AI) 的快速發展，數據產品的基本原則將變得更加重要。代理人工智能系統旨在通過與環境交互并利用各種工具自主實現目標，這在很大程度上依賴于可靠、可理解且可操作的數據。

數據產品如何對 Agentic AI 的使用和采用產生積極影響：

• 賦能自主代理：人工智能代理需要高質量、豐富的上下文數據來做出明智的決策并有效地執行任務。數據產品本質上可以提供以下功能：
• 可發現性：代理可以通過數據產品目錄以編程方式找到所需的數據。
• 可理解性：豐富的元數據使代理能夠正確解釋數據。
• 可信度： SLO 和質量保證確保代理根據可靠的信息進行操作，減少錯誤并提高自主行動的效率。
• 可訪問性：標準化的訪問機制（如為數據產品設計的 API）使代理更容易使用數據。
• 支持復雜工具的使用： Agentic AI 通常依賴于多種工具和數據源。數據產品可以作為客服人員工具包中標準化、可靠的“工具”。例如，負責市場分析的客服人員可以無縫訪問“已驗證銷售數據產品”、“精選競爭對手洞察產品”和“實時社交情緒產品”，從而生成一份綜合報告。
• 提升安全性和治理：隨著人工智能代理日益自主，確保它們在合乎道德和安全的界限內運行至關重要。擁有明確所有權、血統和內置治理機制（例如，訪問控制、嵌入元數據的使用策略）的數據產品，可以幫助管理代理有權訪問的數據及其使用方式。這有助于負責任的人工智能開發。
• 加速代理的開發和部署：當數據以定義明確的產品形式隨時可用時，開發人員可以更快地構建和訓練人工智能代理。他們可以減少在數據整理上花費的時間，而將更多時間投入到代理的核心邏輯和功能上。
• 促進人機協作：當人類和人工智能代理都依賴相同的可信數據產品時，協作將變得更加無縫。人類可以輕松理解代理正在使用的數據，驗證其輸出，并在必要時進行干預。

連接到 Entropic 的模型上下文協議 (MCP)：

數據產品的愿景與 Anthropic 的模型上下文協議 (MCP) 等新興標準高度契合。MCP 是一種開放協議，旨在規范 AI 模型（包括支持代理的模型）與外部數據源和工具的連接和交互方式。

數據產品可以被視為通過 MCP 服務器進行公開的理想選擇。通過將數據、元數據、訪問邏輯和質量保證打包到數據產品中，組織可以創建一個現成的、可靠的“上下文源”，AI 代理可以通過 MCP 連接到該源。這具有以下幾個優勢：

• 標準化訪問： MCP 提供“AI 的 USB-C 端口”，為代理提供接入各種數據源的標準化方式。通過 MCP 公開的數據產品，對于任何符合 MCP 標準的代理來說，都可以輕松成為其使用的構建模塊。
• 增強 LLM 的上下文：代理系統通常利用大型語言模型 (LLM)。數據產品可以通過 MCP 為這些 LLM 提供豐富、結構化且值得信賴的上下文，從而使代理能夠做出更準確、更相關、更可靠的響應和操作。LLM 不再僅僅依賴于自身的訓練數據，而是可以從專用數據產品中獲取最新的、特定領域的高質量信息。
• 安全且受管控的數據交換： MCP 旨在實現安全連接。當通過 MCP 訪問具有固有安全性和管控功能的數據產品時，它可以加強對 AI 代理敏感信息的訪問控制。

本質上，數據產品提供結構良好、可靠且受管控的“內容”（數據資產本身），而像 MCP 這樣的協議則提供標準化的“方法”（AI 代理訪問和使用該資產的機制）。兩者強強聯手，可以顯著加速復雜 Agentic AI 系統的開發和可信應用，使其能夠更有效、更安全地利用組織數據，從而實現商業價值。