當今許多組織都渴望成為數據驅動型組織，但只有少數組織能夠在合理的預算和時間范圍內實現這一目標。邁向數據驅動型組織的過程通常是數字化轉型的重要組成部分，涉及技術和流程的逐步轉變以優化運營。然而，變革很少是非常順利的，通常進展比預期更慢、成本更高。

在本文中，將探討數據驅動的悖論：雖然數據具有增長潛力，但它也帶來了實現增長的許多數據困境。我們將深入探討采用數據驅動方法的收益和痛苦，強調良好的數據策略對于溝通和解決一路上的各種數據困境的重要性。但首先，讓我們澄清一下“數據驅動型組織”的含義。

一 數據驅動的組織

幾乎所有數據白皮書、演示文稿或文章中都提到了這一點：組織希望成為數據驅動的。但“數據驅動型組織”是什么意思呢？

數據驅動的組織有兩個層面的含義：

1. 數據驅動的決策：組織利用事實、指標和數據來指導與其目標相一致的戰略業務決策。這涉及使用關鍵績效指標 (KPI)、報告和儀表板等數據工件來增強決策流程。
2. 數據驅動的流程優化：企業使用數據來改進現有流程，包括從用于持續監控和改進的簡單數據驅動儀表板到更高級的應用程序，例如采用人工智能 (AI) 來自動化關鍵流程，例如通過 AI 聊天機器人提供客戶服務。

這兩個級別都需要手動和自動操作的結合。雖然一開始需要手動干預，但成熟的數據驅動組織更多地依賴自動化技術來簡化運營并最大限度地提高效率。例如，在典型的分析環境中，技術提供了一個實際的儀表板，然后人們可以使用它來做出正確的決策。在更成熟的數據驅動組織中，人工智能工具可以自動對潛在的流失者進行分類，并向他們發送營銷電子郵件，而無需任何人工干預。

數據驅動悖論指出，數據會帶來增長，但隨著數據增長卻充滿挑戰。

二 數據將帶來增長

在過去的十年中，許多公司投資了數據項目，開始了成為數據驅動型組織的過程。沿著這條道路，他們見證了數據驅動決策和流程優化所帶來的優勢和投資回報。即使在當前充滿挑戰的經濟環境下，組織仍堅持投資于現代化數據平臺，強調了他們對數據作為重要資產的信念。

隨著人工智能在當今宣傳中占據主導地位，許多公司渴望通過采用這項變革性技術來獲得競爭優勢。最近的研究進一步強化了這樣的觀念：數據和人工智能之間的協同作用有可能在未來幾年推動組織的進一步發展：

1. 普華永道發現，在考慮初始投資和獲取成本后，投資于客戶數據并實施數據用例的零售商預計邊際貢獻將增加 3%-5%。客戶參與、卓越營銷和運營改進等數據驅動的舉措有助于這種增長。
2. 麥肯錫預測，到 2025 年，智能工作流程和無縫人機交互將像企業資產負債表一樣普遍。數據利用將成為標準做法，優化工作的各個方面并提高生產力。
3. 包括生成式人工智能在內的人工智能技術預計將帶來可觀的回報。麥肯錫預計，由于人工智能技術帶來的自動化，從 2023 年到 2040 年，生產力將提高 0.2-3.3%。
4. 實驗證據表明，像 ChatGPT 這樣的生成式人工智能可以顯著提高受過大學教育的專業人員執行中級專業寫作任務的生產力。該人工智能工具可提高所有能力級別的輸出質量并減少任務完成時間，從而提高整體生產力。
5. 根據IBM 的生成式 AI — 市場狀況報告，高管們預計到 2025 年，生成式 AI 的回報率將超過 10%。這個數字來自他們過去幾年開發的基準 AI 功能。

三 數據困境：平衡增長和挑戰

數據驅動的增長并非沒有挑戰和困境。渴望成為數據驅動型企業的組織需要解決幾個障礙，才能充分發揮數據的潛力。這些數據困境是組織需要解決的關鍵領域：

1. 可持續增長需要強大的數據管理：即使生成式人工智能出現，建立可靠的數據管理實踐也至關重要。公司必須確保正確的數據結構、治理和清理，以有效地利用數據。例如，荷蘭合作銀行暫停了所有人工智能計劃，直到其數據管理實踐得到適當組織。
2. 克服文化障礙：許多組織依靠數據和直覺進行決策，這使得創建真正的數據驅動文化具有挑戰性。為了成功轉型，需要解決缺乏資源、知識、明確的角色、責任和溝通等障礙。
3. 數據質量和所有權：數據所有權通常屬于數據工程師，他們可能缺乏特定領域的知識，從而阻礙數據質量的改進。高質量的數據對于數據的有意義的增長至關重要。
4. 文化轉變：文化問題，例如對變革和業務轉型的抵制，可能會減緩數據驅動所需的組織轉型。
5. 成本和投資回報率問題：投資人工智能等新技術可能具有挑戰性，因為通常不清楚投資何時會獲得回報。公司很難量化人工智能投資的投資回報率，因此很難專注于產生回報的正確業務問題。

除了這些非技術挑戰之外，公司還需要解決各種與技術相關的障礙。主要技術挑戰包括：

1. 缺乏內部專業知識：由于缺乏內部技術知識以及構建定制數據平臺和基礎設施的大量前期成本，預計到 2024 年，大量金融人工智能項目將被推遲或取消。
2. 將人工智能模型部署到生產中的復雜性：將機器學習模型部署到生產中越來越耗時，大多數組織需要一個月或更長時間。數據科學家通常花費超過 50% 的時間進行部署，并且隨著規模的擴大，這一挑戰變得更加明顯。
3. 管理云支出：現代數據平臺向云技術和服務的轉變帶來了新的挑戰——在處理大量數據的同時有效管理云支出。

四 企業數據戰略

采用數據驅動的方法使公司能夠克服數據困境并釋放其數據資產的真正潛力。有效的企業數據戰略通過概述指導原則和目標來指導決策，在克服這些困境方面發揮著至關重要的作用。

可以推動企業數據戰略的一些關鍵原則如下：

1. 先買后建：選擇現有的工具或服務，而不是在內部構建所有內容，利用現有的解決方案來加快進度。
2. 全民數據工程：使每個業務部門能夠創建自己的數據管道，從而將數據轉化為有價值的見解。
3. 事實的一個版本：通過在底層數據平臺上實施單一的管理關鍵績效指標 (KPI) 來確保一致性。
4. 集中數據平臺管理：通過將責任委托給單個專門團隊來簡化組織數據平臺的變更和維護。
5. 隱私優先于效率：在考慮 ChatGPT 等外部服務來處理敏感內部文檔時，優先考慮隱私和安全。
6. 用于管理決策的可用數據：數據應該以可用的格式隨時可用，以支持廣泛的管理決策。

然而，僅靠數據戰略可能無法防止戰略目標和運營選擇之間潛在的脫節。例如，如果數據工程團隊決定使用代碼驅動的數據管道，則可能與組織促進全民數據工程的雄心相沖突。確保認識到并解決此類脫節對于使數據計劃與總體戰略方向保持一致至關重要。

高管、運營人員和數據分析領導者通常對關鍵舉措的進展持有不同的觀點，特別是在數據素養和數據通信等領域。為了有效實施數據戰略，必須為數據項目、程序和架構建立清晰且結構化的溝通渠道。

五 促進溝通

通過彌合愿景與執行之間的差距，組織可以培養一種有效利用數據的文化，從而增強決策能力并實現持續增長。具有凝聚力的數據策略加上有效的溝通，成為轉變為真正的數據驅動型組織的途徑，并有能力在數據日益豐富的環境中蓬勃發展。

原則

為了促進數字數據轉換計劃中的清晰溝通，使隱性選擇變得明確至關重要。這可以通過為每個關鍵決策開發一個簡潔的說明清單來實現，并考慮以下幾點：

1. 清楚地陳述決定：以簡單的方式闡明需要做出的決定，確保每個相關人員都了解其重要性。
2. 構建決策框架：提供一個決策框架，概述每個潛在解決方案的優點和缺點，幫助利益相關者掌握其選擇的影響。
3. 強調視覺傳達：利用草圖或圖表等視覺輔助工具來說明決策過程，使復雜的信息更容易理解和吸引人。
4. 吸引廣泛的受眾：讓不同的利益相關者參與其中，包括高管、運營人員和數據分析領導者，以確保在決策過程中考慮全面的觀點。
5. 選擇供應商中立的解決方案：優先考慮供應商中立的解決方案類型，這些解決方案類型在不斷發展的技術數據環境中具有較長的使用壽命，能夠適應未來的變化。

通過采用這些實踐，組織可以在數據轉型過程中促進有意義的討論并促進明智的決策。透明且溝通良好的選擇有助于建立有凝聚力的數據驅動文化。

下面是應用以上原則來促進選擇正確的數據管道技術的示例。

（1）要做出的決策：

數據管道是邁向數據驅動型組織的重要組成部分，跨系統提取、加載和轉換數據，以便在正確的時刻為任何類型的數據產品提供正確的數據。需要選擇哪種類型的數據管道工具來滿足您的需求？

（2）框架四個標準可以幫助選擇正確類型的數據管道技術：

1. 學習曲線：數據管道技術學習起來有多難？
2. 人：使用管道技術需要什么技能水平？受過有限培訓的業務分析師是否可以管理它，或者它更適合經驗豐富的數據工程師？
3. 能力：數據管道技術有哪些能力？它可以處理提取、轉換和/或加載操作嗎？
4. 可擴展性：管道是否可以輕松地從一個管道擴展到多個管道？它能夠處理大量數據嗎？

（3）隨附的草圖說明了如何將四種常見類型的數據管道應用于這四個標準：

1. 無代碼：用戶友好的工具，有助于提取加載數據移動和基本轉換。示例包括 Fivetran、Airbyte 和 CDC 工具（例如 Qlik Replicate）。這些工具通常由數據工程師設置，但可用于廣泛的數據配置文件。
2. 低代碼：可視化 ETL 工具，允許通過單擊并拖動界面創建管道。示例包括 Matillion 和 Azure 數據工廠，它們提供比無代碼解決方案更復雜的功能。
3. SQL：隨著 DBT Labs 的 DBT 工具的興起，SQL 已成為一種強大的數據管道語言。它易于學習，但可以有效地利用底層計算平臺的全部功能。設置和維護通常由數據工程師完成，而實際的 SQL 可以由更廣泛的數據和業務配置文件編寫。
4. 代碼：代碼驅動的管道，通常在 Apache Spark 上使用 Python 或 Scala，功能強大，能夠處理大量數據。然而，維護這些管道需要高技能的數據工程師。

（4）建議無代碼和 SQL 的組合，因為它允許快速輕松地集成新數據以及功能強大但相對易于學習的 SQL 語言。這種方法確保了在將來允許全民數據工程的選擇。

六 小結

總之，數據推動增長的潛力是不可否認的，但轉型為數據驅動型組織也面臨著相當多的困境。為了在這一努力中取得成功，組織必須解決非技術和技術障礙，充分利用其數據資產的真正潛力。成功的數據戰略不可或缺的要素是建立一種結構化方法，使整個數據驅動轉型計劃的決策民主化。

通過采用正確的實踐，組織可以培養開放且有意義的溝通文化，使利益相關者能夠在數據轉型過程中做出明智的決策。透明且溝通良好的選擇是培育有凝聚力的數據驅動文化的基石，在這種文化中，數據被視為戰略資產，并被用來推動創新和增長。