當下那些超大公司在如何克服AI方面的幾大挑戰(zhàn)。

摘要：許多企業(yè)試圖改造業(yè)務(wù)，打造競爭優(yōu)勢，于是大力投入于AI技術(shù)。這份針對多個行業(yè)跨國公司數(shù)據(jù)科學和工程團隊領(lǐng)導(dǎo)人的調(diào)查發(fā)現(xiàn)，將近90%的人在大力投入于AI，但全面獲得投入回報的寥寥無幾。

只有三分之一的AI項目成功，從概念階段到生產(chǎn)階段歷時超過6個月，相當多一部分根本就沒有進入到生產(chǎn)階段，這給企業(yè)組織帶來了AI困境。

數(shù)據(jù)成就了AI，但也讓AI實施起來困難重重。約96%的企業(yè)稱，AI項目進入到生產(chǎn)階段時，與數(shù)據(jù)有關(guān)的挑戰(zhàn)是最常見的障礙。企業(yè)數(shù)據(jù)不支持AI，并分散在數(shù)百個系統(tǒng)中，比如數(shù)據(jù)倉庫、數(shù)據(jù)湖、數(shù)據(jù)庫和文件系統(tǒng)。TensorFlow之類的機器學習框架又不搞數(shù)據(jù)處理。

由于數(shù)據(jù)系統(tǒng)不“搞AI”、這些AI技術(shù)不“搞數(shù)據(jù)”，企業(yè)到頭來平均使用7種不同的工具，這造成了摩擦，阻礙了項目。雪上加霜的是，調(diào)查發(fā)現(xiàn)，由于數(shù)據(jù)科學團隊和工程團隊分屬獨立的部門，其中80%面臨數(shù)據(jù)協(xié)作挑戰(zhàn)。

所以，什么有望幫助這些企業(yè)克服AI困境?據(jù)調(diào)查聲稱，90%的調(diào)查人員認為，統(tǒng)一分析(Unified Analytics)可破解AI困境。這種方法將數(shù)據(jù)處理與機器學習框架統(tǒng)一起來，在整個機器學習生命周期為數(shù)據(jù)科學團隊和數(shù)據(jù)工程團隊的協(xié)作提供便利。統(tǒng)一分析是一類新的解決方案，它整合數(shù)據(jù)科學和數(shù)據(jù)工程，極大地方便了企業(yè)搞AI項目。統(tǒng)一分析讓數(shù)據(jù)工程師更容易跨孤立的系統(tǒng)構(gòu)建數(shù)據(jù)管道，并準備用于建模的標記數(shù)據(jù)庫，同時讓數(shù)據(jù)科學家能夠探索和顯示數(shù)據(jù)、協(xié)作構(gòu)建模型。

引言：CIO/IDG研究服務(wù)公司調(diào)查了歐美大企業(yè)(員工超1000人)正在考慮或使用AI技術(shù)的200多名IT高管。我們想全方位了解AI投入、預(yù)期的業(yè)務(wù)成果、挑戰(zhàn)以及促進AI成功的因素。

AI困境――近90%投入于AI，但成功的寥寥無幾

很顯然，多個行業(yè)的調(diào)查對象往AI項目投入了大量的資源，希望打造新的業(yè)務(wù)模式，以便充分利用數(shù)據(jù)和機器學習，包括發(fā)現(xiàn)挽救生命的新藥、檢測欺詐和惡意行為、改善全球供應(yīng)鏈管理，以及為客戶打造高度個性化的數(shù)字化體驗。

盡管面臨挑戰(zhàn)，但調(diào)查對象還是全力投入于AI。如此一來，三分之二的調(diào)查對象預(yù)計AI投入在今后一年會加大也就不足為奇了(見下圖)。

Databricks的產(chǎn)品營銷副總裁巴拉什•高達(Bharath Gowda)說：“AI大有潛力帶動顛覆性創(chuàng)新，從而影響全球大多數(shù)企業(yè)。它廣泛應(yīng)用于各行各業(yè)。它現(xiàn)用于基因組學，加快藥物發(fā)現(xiàn)、促進個性化醫(yī)療。它還用于制造業(yè)，提高產(chǎn)品開發(fā)和交付過程的運營效率。盡管大有潛力，但是成功地擴大AI項目規(guī)模的公司卻寥寥無幾。”

與數(shù)據(jù)有關(guān)的挑戰(zhàn)在阻礙96%的企業(yè)搞成功AI

但CIO/IDG調(diào)查顯示，由于諸多原因，企業(yè)還沒有完全獲得AI的好處，但數(shù)據(jù)是一個絕對的話題。說到項目進入到生產(chǎn)階段時，幾乎所有調(diào)查對象(96%)提到了多個與數(shù)據(jù)有關(guān)的挑戰(zhàn)(見下圖)。

而談到與數(shù)據(jù)有關(guān)的挑戰(zhàn)時，數(shù)據(jù)孤島的提及率遠高于其他問題，技術(shù)復(fù)雜性則是第二大挑戰(zhàn)。

高達說：“對于數(shù)據(jù)科學家來說，事實已證明，用大量數(shù)據(jù)做出來的簡單模型得到的效果比用少量數(shù)據(jù)做出來的復(fù)雜模型要好。所以，數(shù)據(jù)越多模型就越好――數(shù)據(jù)是AI的助推器。數(shù)據(jù)科學家易于獲取干凈可靠的數(shù)據(jù)，這是成功的關(guān)鍵。因此企業(yè)面臨的挑戰(zhàn)就是，將孤立的凌亂數(shù)據(jù)轉(zhuǎn)換成干凈的標記數(shù)據(jù)，用于開發(fā)模型。”

日益增加的復(fù)雜性：企業(yè)平均購置七種不同的機器學習工具

數(shù)據(jù)工程團隊和數(shù)據(jù)科學團隊的區(qū)別還延伸到它們使用的工具，而工具有好多種。

絕大多數(shù)(87%)購置各種各樣的數(shù)據(jù)和AI相關(guān)技術(shù)，幫助準備數(shù)據(jù)、探索數(shù)據(jù)和構(gòu)建模型，包括：

• 85%的調(diào)查對象使用數(shù)據(jù)處理工具，比如Apache Spark、Hadoop/MapReduce和Google BigQuery。
• 65%的調(diào)查對象使用數(shù)據(jù)流工具，比如Flume、Kafka和Onyx。
• 80%的調(diào)查對象使用機器學習工具，比如Azure ML、Amazon ML和Spark MLlib。
• 65%的調(diào)查對象使用深工學習工具，比如Google TensorFlow、微軟CNTK和Deeplearning4j(DL4J)。

總的來說，調(diào)查結(jié)果顯示，企業(yè)平均使用七種不同的機器學習和深度學習工具和框架，這帶來了很復(fù)雜的環(huán)境，會降低效率。

高達說：“為了從AI獲得價值，企業(yè)依賴現(xiàn)有的數(shù)據(jù)和對海量數(shù)據(jù)集迭代搞機器學習的能力。今天的數(shù)據(jù)工程師和數(shù)據(jù)科學家使用眾多相互脫節(jié)的工具來完成這項任務(wù)，包括一大堆機器學習框架。”

孤立的數(shù)據(jù)科學團隊和工程團隊：80%因而遇到生產(chǎn)力下降的情況

技術(shù)技能、領(lǐng)導(dǎo)能力和缺乏連貫一致的策略是數(shù)據(jù)工程和數(shù)據(jù)科學團隊面臨的三大障礙(見下圖)。

統(tǒng)一分析--許多企業(yè)需要一類新的解決方案來化解AI困境

調(diào)查對象很清楚，自己會歡迎這類工具。近五分之四(79%)表示，統(tǒng)一大數(shù)據(jù)和AI的端到端分析平臺會非常寶貴，同時促進數(shù)據(jù)工程團隊和數(shù)據(jù)科學團隊之間的合作。

這類平臺應(yīng)有的其他功能包括：

• 處理龐大數(shù)據(jù)集時性能出眾
• 內(nèi)置與各個數(shù)據(jù)源集成的功能
• 讓擁有不同技能的數(shù)據(jù)科學家可協(xié)同工作的協(xié)作空間
• 能夠支持彈性擴展的云原生平臺
• 內(nèi)置的數(shù)據(jù)管理功能，用于構(gòu)建龐大的數(shù)據(jù)管道
• 支持多個云