從欺詐檢測到聊天機(jī)器人再到預(yù)測分析，人工智能和機(jī)器學(xué)習(xí)已經(jīng)為企業(yè)提供了大量實用案例。但是，ChatGPT大膽的創(chuàng)意寫作技巧將 AI/ML 的期望提升到了新的高度。IT領(lǐng)導(dǎo)者想知道：AI/ML 最終是否能夠超越單點解決方案，并真正解決企業(yè)面臨的核心問題呢？

以管理和集成數(shù)據(jù)為例，這是當(dāng)前企業(yè)中特別需要 AI/ML 技術(shù)的應(yīng)用。由于本地和云平臺的數(shù)據(jù)量、數(shù)據(jù)種類、可變性和分布上升到一個新的高度，非常需要機(jī)器來幫助管理解決數(shù)據(jù)問題。

那么，AI/ML真的能夠幫助建立數(shù)據(jù)混亂的秩序嗎？答案是肯定的，但業(yè)界的共識是，我們只是觸及了可能實現(xiàn)的目標(biāo)表面。諸如Informatica、IBM和SnapLogic這些集成軟件的老牌企業(yè)，已經(jīng)增加了AI/ML功能來自動化各種任務(wù)，并且Tamr、Cinchy和Monte Carlo等一批新公司將AI/ML作為其產(chǎn)品的核心。不過，至今仍然沒有一家能夠提供端到端自動化數(shù)據(jù)管理和集成流程的 AI/ML 解決方案。

時至今日，仍然沒有任何產(chǎn)品或服務(wù)可以在沒有人為干預(yù)的情況下管理每個異常數(shù)據(jù)，更不用說改革混亂的企業(yè)數(shù)據(jù)架構(gòu)了。如今，這些新的 AI/ML 驅(qū)動型解決方案可以做的是大幅減少各種數(shù)據(jù)整理和集成工作的人工勞動，從數(shù)據(jù)編目到構(gòu)建數(shù)據(jù)管道再到提高數(shù)據(jù)質(zhì)量。

然而，值得注意的是，要產(chǎn)生真正、持久的影響，一個 CDO（首席數(shù)據(jù)官） 需要一種方法，而不是為一次性項目獲取集成工具的沖動。在企業(yè)確定要應(yīng)用于哪些 AI/ML 解決方案的優(yōu)先級之前，他們需要對其整個數(shù)據(jù)資產(chǎn)（客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、交易數(shù)據(jù)、事件數(shù)據(jù)等）進(jìn)行連貫的、自上而下的審視，并全面了解定義這些數(shù)據(jù)類型的元數(shù)據(jù)。

企業(yè)數(shù)據(jù)問題的范圍

如今，大多數(shù)企業(yè)都管理著大量的數(shù)據(jù)存儲，每個數(shù)據(jù)存儲都與自己的應(yīng)用程序和案例相關(guān)聯(lián)，隨著業(yè)務(wù)部門使用云計算等，企業(yè)的數(shù)據(jù)孤島問題變得越來越嚴(yán)重。在企業(yè)的眾多存儲當(dāng)中，一些數(shù)據(jù)存儲可用于事務(wù)或其他業(yè)務(wù)活動，而其他數(shù)據(jù)存儲（主要是數(shù)據(jù)倉庫）則為從事分析或商業(yè)智能的人員提供服務(wù)。

Forrester Research副總裁兼首席分析師Noel Yuhanna表示，地球上的每個組織都有二十多種數(shù)據(jù)管理工具，這些工具都是獨立存在的。目前，已經(jīng)有一些供應(yīng)商為他們的產(chǎn)品注入了AI / ML功能，而其他供應(yīng)商尚未這樣做。

數(shù)據(jù)集成的主要目的是映射各種數(shù)據(jù)源的架構(gòu)，以便不同的系統(tǒng)可以共享、同步和/或豐富數(shù)據(jù)。例如，后者是開發(fā)客戶360度視圖的必備條件。但是，看似簡單的任務(wù)，例如確定具有相同名稱的客戶或公司是否是同一實體，以及哪些記錄正確的詳細(xì)信息，都需要人工干預(yù)，這也就是技術(shù)專家經(jīng)常被要求幫助建立規(guī)則來處理各種異常的原因所在。

Tamr的首席產(chǎn)品官Anthony Deighton聲稱，他的MDM解決方案克服了基于規(guī)則的系統(tǒng)復(fù)雜性。Anthony Deighton表示，基于機(jī)器學(xué)習(xí)的方法的優(yōu)勢在于，當(dāng)你添加新的來源時，或者當(dāng)數(shù)據(jù)類型本身發(fā)生變化時，系統(tǒng)可以很快地適應(yīng)這些變化。當(dāng)然，這與大多數(shù)ML系統(tǒng)一樣，需要使用大量數(shù)據(jù)進(jìn)行持續(xù)訓(xùn)練，并且仍然需要人工判斷來解決差異。

因此，在管理數(shù)據(jù)的問題上，AI/ML不是靈丹妙藥。但它可以提供非常有價值的自動化，不僅適用于 MDM，而且適用于數(shù)據(jù)集成的許多領(lǐng)域。

將AI/ML集成到數(shù)據(jù)結(jié)構(gòu)中

“數(shù)據(jù)結(jié)構(gòu)”是用于描述整個企業(yè)中有用數(shù)據(jù)的操作短語。要確定該結(jié)構(gòu)的范圍，首先要知道數(shù)據(jù)的位置，并對其進(jìn)行編目。該任務(wù)可以使用Informatica的AI/ML注入CLAIRE引擎或IBM Watson知識目錄等解決方案的AI / ML功能進(jìn)行部分自動化。其他編目軟件供應(yīng)商包括Alation，BigID，Denodo和OneTrust。

Gartner研究總監(jiān)Robert Thanaraj認(rèn)為，要構(gòu)建數(shù)據(jù)結(jié)構(gòu)，必須購買必要的技術(shù)組件，構(gòu)建并根據(jù)所需的結(jié)果進(jìn)行編排。這種結(jié)構(gòu)應(yīng)該是“元數(shù)據(jù)驅(qū)動的”，由圍繞企業(yè)數(shù)據(jù)本身的所有重要信息的匯編編織而成。

Robert Thanaraj對企業(yè)的建議是“投資于元數(shù)據(jù)發(fā)現(xiàn)”。這包括“與組織中的人員一起工作的模式，處理數(shù)據(jù)的人員模式以及他們使用的數(shù)據(jù)組合。

Informatica的CLAIRE引擎可以幫助企業(yè)獲得元數(shù)據(jù)見解并采取行動。Informatica首席產(chǎn)品官Jittesh Ghai表示，我們應(yīng)用 AI/ML 功能來提供預(yù)測數(shù)據(jù)......通過將元數(shù)據(jù)的所有維度鏈接在一起以提供上下文。除此之外，這種預(yù)測性數(shù)據(jù)智能可以幫助自動創(chuàng)建數(shù)據(jù)管道。通過自動生成與各種源項的公共元素的映射，并將其與目標(biāo)系統(tǒng)的架構(gòu)保持一致。

IDC Stewart Bond指出，SnapLogic集成平臺具有類似的流水線功能。因為它們是基于云的，所以他們會關(guān)注所有其他已經(jīng)建立了管道的客戶，可以找出下一個最好的 Snap：根據(jù)成百上千的其他客戶行為，判斷應(yīng)該在這個管道中采取的下一個最佳行動是什么。

提高數(shù)據(jù)質(zhì)量

根據(jù)Stewart Bond的說法，AI / ML產(chǎn)生最大影響地是提供更好的數(shù)據(jù)質(zhì)量。Forrester Yuhanna對此表示贊同：“AI/ML確實在推動數(shù)據(jù)質(zhì)量的提高，這是因為 ML 可以發(fā)現(xiàn)大量數(shù)據(jù)中的模式并從中學(xué)習(xí)，并推薦人類缺乏帶寬來確定的新規(guī)則或調(diào)整。

高質(zhì)量的數(shù)據(jù)對于處理重要客戶、員工、供應(yīng)商和產(chǎn)品數(shù)據(jù)的交易和其他操作系統(tǒng)至關(guān)重要，讓沉浸在分析中的數(shù)據(jù)科學(xué)家的生活更加輕松。

人們常說，數(shù)據(jù)科學(xué)家花費(fèi)80%的時間清理和準(zhǔn)備數(shù)據(jù)。Michael Stonebraker對這一估計提出了異議：他引用了與一位數(shù)據(jù)科學(xué)家的對話。這位數(shù)據(jù)科學(xué)家認(rèn)為，她花了90%的時間來確定想要分析的數(shù)據(jù)源，整合結(jié)果并清理數(shù)據(jù)。然后，她將剩余 10% 的時間中的 90% 用于修復(fù)清潔錯誤。因此，任何能夠讓她節(jié)省大量時間的 AI/ML 數(shù)據(jù)編目或數(shù)據(jù)清理解決方案都會改變游戲規(guī)則。

數(shù)據(jù)質(zhì)量從來都不是一勞永逸的。數(shù)據(jù)不斷變化的性質(zhì)及其經(jīng)過的許多系統(tǒng)催生了一類新的解決方案：數(shù)據(jù)可觀測性軟件。它可以觀察數(shù)據(jù)流經(jīng)數(shù)據(jù)管道的數(shù)據(jù)，并正在識別數(shù)據(jù)質(zhì)量問題。Stewart Bond認(rèn)為，使用AI / ML來監(jiān)控數(shù)據(jù)質(zhì)量的六個維度”的參與者：準(zhǔn)確性，完整性，一致性，唯一性，及時性和有效性。

正如DevOps必不可少的持續(xù)測試一樣，越來越多的公司正在接受數(shù)據(jù)操作，其中正在對儀表板、ETL 作業(yè)進(jìn)行操作、使這些管道運(yùn)行的東西進(jìn)行持續(xù)測試，并分析這些管道中的數(shù)據(jù)。

更多智能即將推出

數(shù)據(jù)管理和集成軟件供應(yīng)商將繼續(xù)快速添加有用的 AI/ML 功能，以實現(xiàn)數(shù)據(jù)發(fā)現(xiàn)、映射、轉(zhuǎn)換、流水線、治理等自動化。

Informatica  Ghai 表示，如果我們要在這個異構(gòu)、多云、碎片化的環(huán)境中以 PB 級的規(guī)模進(jìn)行數(shù)據(jù)配置，我們需要將 AI 應(yīng)用于數(shù)據(jù)管理。Ghai甚至關(guān)注OpenAI的GPT-3系列大型語言模型。他表示，最令人興奮的是理解人類文本指令的能力。

然而，沒有任何產(chǎn)品擁有使數(shù)據(jù)混亂合理化或在沒有幫助的情況下清理數(shù)據(jù)的智能。Gartner Thanaraj認(rèn)為，在自動化、人工操作之前必須找到一個平衡。

目前，AI / ML人才的嚴(yán)重短缺。Michael Stonebraker表示，目前仍舊沒有用于數(shù)據(jù)管理和集成的交鑰匙 AI/ML 解決方案，因此 AI/ML 專業(yè)知識對于正確實施是必要的。

當(dāng)然，隨著AI / ML解決方案變得更加智能，將會給企業(yè)帶來越來越多的收益。

原文標(biāo)題：Can AI solve IT’s eternal data problem?

原文作者： Eric Knorr