?譯者 | 布加迪

審校 | 孫淑娟

由于數據是人工智能（AI）的核心，因此AI和機器學習（ML）系統需要足夠多的優質數據來學習也就不足為奇了。一般需要大量優質數據，對于監督學習方法尤為如此，才能正確訓練AI或ML系統。具體需要多少數據，取決于所實施的AI的模式、所使用的算法以及內部數據與第三方數據等其他因素。比如說，神經網絡需要大量數據來訓練，而決策樹或貝葉斯分類器不需要那么多數據就能獲得高質量結果。

于是，你可能認為數據越多越好，對吧？請再想想。擁有大量數據（甚至EB級數據）的組織意識到，擁有更多數據并不代表如期望的那樣可以解決問題。確實，數據越多，問題越多。擁有的數據越多，需要清理和準備的數據就越多，需要標記和管理的數據就越多，需要加強安全、做好保護、減少偏誤及其他措施的數據就越多。當開始增加數據量時，小項目會迅速變成大項目。事實上，大量數據往往會扼殺項目。

很顯然，識別業務問題與整理數據以解決該問題之間缺少的步驟是，確定需要哪些數據、實際需要其中的多少數據。需要足夠多的數據，但切忌過多：不多不少剛剛好。遺憾的是，組織常常還沒有了解數據，就貿然上手AI項目。組織要回答諸多問題，包括弄清楚數據在哪里、已經有多少數據、處于什么狀態、數據的哪些特征最重要、內外數據的使用、數據訪問難題、增強現有數據方面的要求，以及其他關鍵因素和問題。如果不回答這些問題，AI項目可能會失敗，甚至淹沒在數據汪洋中。

1.更好地了解數據

為了了解自己需要多少數據，先要了解數據在AI項目的結構中所處的位置。有一種直觀的方式可幫助我們了解從數據中獲得的不斷增加的價值，那就是“DIKUW金字塔”（有時也叫“DIKW 金字塔”），它顯示了數據基礎如何通過信息、知識、理解和智慧，幫助獲取更大的價值。

憑借堅實的數據基礎，你可以在下一個信息層獲得更深的洞察力，這可以幫助你回答有關該數據的基本問題。一旦在數據之間建立了基本的聯系以獲得信息洞察力，就可以在該信息中找到模式，了解各部分信息如何連接在一起，從而獲得更深入的洞察力。組織可以在知識層的基礎上，進一步了解這些模式為什么會出現，從而獲得更多價值，幫助了解底層模式。最后，你可以在智慧層通過深入了解信息決策的因果關系，從信息中獲得最大的價值。

最近的這股AI浪潮最關注的是知識層，因為機器學習在信息層之上提供了識別模式的洞察力。遺憾的是，機器學習在理解層遇到了瓶頸，因為找出模式不足以進行推理。我們有機器學習，卻沒有了解模式為什么會出現的機器推理。每當你與聊天機器人交互時，都能看到這一局限性。雖然基于機器學習的自然語言處理（NLP）非常擅長理解人的語音、推測意圖，但它在試圖理解和推理時遇到了限制。比如說，如果你問語音助手明天要不要穿雨衣，它不明白你在問天氣。人類要向機器提供這種洞察力，因為語音助手不知道雨實際上是什么。

2.保持數據意識，以避免失敗

大數據已教會我們如何處理大量數據。不僅僅涉及數據如何存儲，還涉及如何處理、操作和分析所有這些數據。機器學習能夠處理組織收集的種種不同類型的非結構化數據、半結構化數據或結構化數據，從而增添了更多的價值。的確，最近的這股AI浪潮實際上是大數據驅動的分析浪潮。

但正是由于這個原因，一些組織在AI方面遭遇重創。它們不是從以數據為中心的角度運行AI項目，而是專注于功能方面。為了駕馭AI項目并避免致命錯誤，組織不僅要更好地理解AI和機器學習，還要更好地理解大數據的幾個“V”。這不僅關乎有多少數據，還關乎數據的性質。大數據的其中幾個V包括：

• 數量：擁有的大數據的絕對數量。
• 速度：大數據變化的速度。成功運用AI意味著將AI運用于高速數據。
• 多樣性：數據可以有多種不同的格式，包括數據庫等結構化數據、發票等半結構化數據以及電子郵件、圖像和視頻文件等非結構化數據。成功的AI系統可以處理這種多樣性。
• 真實性：這是指數據的質量和準確性以及你對該數據的信任程度。垃圾進垃圾出，在數據驅動的AI系統中尤為如此。因此，成功的AI系統需要能夠處理變化很大的數據質量。

憑借數十年來管理大數據項目的經驗，AI方面取得成功的組織主要在大數據方面取得了成功。那些目睹AI項目失敗的組織常常以應用程序開發的思維來解決AI問題。

3.錯誤數據過多、正確數據不足在扼殺AI項目

雖然AI項目起步是正確的，但缺乏必要的數據以及缺乏了解、未解決實際問題在扼殺AI項目。組織在沒有真正了解需要的數據和數據質量的情況下繼續前進，這帶來了真正的挑戰。

組織犯這個數據錯誤的原因之一是，除了使用敏捷或應用程序開發方法外，它們在開展AI項目時沒有任何真正的方法。然而成功的組織已意識到，使用以數據為中心的方法將數據理解作為項目方法的第一個階段。CRISP-DM方法已存在了20多年，它將數據理解指定為確定業務需求后接下來要做的事情。基于CRISP-DM，并結合敏捷方法，AI認知項目管理（CPMAI）方法在第二個階段需要數據理解。其他成功的方法同樣需要在項目早期理解數據，因為AI項目畢竟是數據項目。如果在不了解數據的情況下開展項目，如何在數據基礎上構建成功的項目？這肯定是你要避免的致命錯誤。

原文鏈接：https://www.forbes.com/sites/cognitiveworld/2022/08/20/are-you-making-these-deadly-mistakes-with-your-ai-projects/?sh=352955946b54