云中的分析：關鍵挑戰以及如何克服它們
【51CTO.com快譯】
像許多其他IT功能一樣，數據分析也正在遷移到云中。與其他基于云的努力一樣，這既帶來機遇，也帶來挑戰。
Gartner引用了2021年十大數據和分析技術趨勢之一，即使用開放的，容器化的分析架構，從而使分析功能更易組合。這家研究公司表示，這使企業能夠快速創建靈活，智能的應用程序，以幫助數據分析師將見解與行動聯系起來。
“隨著數據重心轉移到云中，可組合數據和分析將成為構建由云市場以及低代碼和無代碼解決方案支持的分析應用程序的更加敏捷的方式，” Gartner指出。
云可以將公司的數據分析提高到一個新的水平。
創意服務機構Loveurope and Partners（LEAP）的系統和技術總監Aidan Taub表示：“云可為我們提供高計算量工作負載所需的可伸縮性。”
Taub說：“隨著世界繼續將一切數字化，組織需要能夠以指數級的規模構建文件數據。” “當您擁有大量的非結構化數據，例如我們在LEAP處理的視頻，圖像和音頻時，您將永遠無法知道下一份工作的規模。傳統分析無法像云一樣擴展規模。”
然而，與傳統方式內部進行批處理分析相比，云中的分析需要不同的方法，技能，架構和經濟性。伴隨著所有這些變化，勢必需要克服一些障礙。
這是組織可能會面臨的一些挑戰，以及當他們轉向在云中執行數據分析時如何解決這些挑戰。
害怕失去控制-未知
數據分析對于企業來說具有高度的戰略意義，對于習慣于完全控制此類資源的技術領導者而言，將分析過程遷移到云中的想法可能令人望而生畏。
德勤咨詢公司高級分析支持主管負責人Anthony Abbattista
“我們看到客戶面臨的主要挑戰之一是組織慣性/對失去控制的恐懼，” Deloitte Consulting高級分析支持主管負責人Anthony Abbattista說道，他曾與眾多高級IT高管合作過，轉向基于云的技術。分析。
Abbattista說：“ IT和CIO的傳統角色是保護并成為數據資產的守護者。” 在某些情況下，云挑戰了現狀，因為它可以更快地推向市場。他說，例如，產品選擇和評估，點擊配置的需求有限，無需大量增加資本支出等等。
Abbattista說：“首席數據官和CIO需要共同努力，以審核和熟悉云平臺，因此他們可以幫助他們至少與競爭對手一樣快地獲得業務價值和競爭優勢。” “這可能需要采用市場上可接受的，經過驗證的和新興的模型，而不是從頭開始設計/架構分析環境。”
布蘭登·瓊斯（Brandon Jones），CIO，公共機構員工全球保障（WAEPA）
保險提供商公共機構雇員全球保障（WAEPA）的CIO布蘭登·瓊斯（Brandon Jones）說，由于現有分析流程的靈活性，許多組織在探索新的分析功能方面進展緩慢。他說：“這減少了嘗試新功能并推動創新的激勵措施和計劃。”
為了克服這個問題，WAEPA的IT部門使用了具有云功能的沙箱環境來建立試錯法構想流程，并利用主要利益相關者的關鍵績效指標，并創建了原型優先的分析環境。
做出轉變
除了克服人們認為的失控之外，IT領導者還需要應對向云的實際遷移，并確保不中斷服務。
“這令人生畏。對于許多IT領導者來說，他們要做的最困難的事情就是導航到云的道路。” Taub說。“但是，如果他們選擇正確的解決方案，就不必那樣做。”
Taub說，在將數據分析遷移到云中時，在許多情況下，IT領導者將從“提升和轉移”方法開始，將現有的操作移植到云中。他補充說：“通常，這意味著需要重新構建應用程序和系統的工具，以便為云重新架構它們。”
作為2019年對其舊數據基礎架構的全面改革的一部分，LEAP使用Qumulo的分析平臺將大量非結構化文件數據遷移到了云中。LEAP的文件數據以前分散在各種不同的舊式存儲系統中，并且數據管理員在工作流中不同位置管理和定位數據非常耗費人力。
“幸運的是，Qumulo幫助我們轉移了所有數據，而無需為云重構應用程序，” Taub說。“我建議您找到一種[工具]，使在多個環境中復制和提取數據變得簡單。”
這一轉變使該公司能夠優化其數據分析，并將性能提高多達240倍。通過Analytics（分析），公司可以查看已連接的客戶端數量，使用帶寬最多的客戶端以及系統在何處快速增長。
Taub說：“創造性工作流程的成功很大程度上取決于我們在云中訪問數據分析的能力。” “我們擁有由數百名藝術家，設計師和動態圖形編輯人員組成的全球網絡，因此，我們需要利用云來有效，安全地協作創意項目。如果沒有基于云的數據分析，我們的生產流程將停止。”
Loveurope and Partners（LEAP）系統與技術總監Aidan Taub
掌握正確的技能
成功的IT工作似乎總是歸功于掌握必要的技能。將分析遷移到云也不例外。
德勤咨詢（Deloitte Consulting）看到對技能的需求開始發生變化。“不是由專家來支持傳統分析/ BI（商業智能）中技術堆棧的每個部分，而是云分析環境需要更多的“全棧”思維，” Abbattista說。
他補充說：“為應對這一挑戰，支持這些新時代環境的技術團隊需要了解云平臺上的產品，采用標準模式，然后隨著新技術，工具和產品的出現而發展。”
美元樹前首席信息官Josh Jewett
喬什·杰維特（Josh Jewett）說，選擇在云環境中構建自己的分析平臺或依賴供應商系統的公司將需要具有特定的內部技術專業知識，而喬什·杰維特（Josh Jewett）則是零售商Dollar Tree的首席信息官。
Jewett說，這些技能包括創建，維護和從數據湖中獲取分析的技能，以及如何最好地利用云原生或第三方人工智能和機器學習功能來從環境中汲取更多見解。
“這些缺點可以通過經驗豐富的合作伙伴和顧問來克服，” Jewett說。他說，理想的安排是從這些外部專家那里獲取經驗，以便與他們簽訂合同后，該公司便擁有知識和專業知識，可以根據需要繼續發展基于云的分析。
在Dollar Tree任職期間，Jewett在幫助公司現代化許多系統（包括數據分析）方面發揮了重要作用。他說：“像其他許多零售商一樣，我的公司采取了混合策略。” 它部署了軟件即服務平臺，以為關鍵業務功能提供特定的分析功能。
Jewett說：“例如，這些工具包括用于庫存生產率，價格優化，減輕損失預防以及人才獲取和績效管理的工具。” 該公司還在云環境中開發了一些自己的分析應用程序，以利用云的靈活性，可伸縮性和加快產品上市的優勢。
保護數據
無論有多少云服務提供商強調其基礎架構的安全性，許多客戶將始終擔心其數據在云中的實際安全性。
對于分析尤其如此，因為從數據分析中獲得的見解可以成為競爭優勢。還擔心公開諸如客戶信息之類的高度敏感的數據。
Taub說，“任何時候將公司的寶貴數據移出私有數據中心時，安全都是頭等大事”。“ LEAP利用了包括自由職業者在內的全球員工網絡，這意味著我們必須確保我們的數據將在內部和外部用戶訪問的云中得到保護。”
最大的安全隱患之一是控制對云應用程序和數據的訪問。
軟件提供商首席數據和信息官艾米·奧康納（Amy O'Connor）表示：“人們使用云應用程序的便捷性帶來了挑戰，其中許多根源在于人們可能會無意中引發安全，隱私和經濟方面的擔憂。”恰恰。
O'Connor說：“在云帳戶之間進行安全切換以及安全地存儲和交換密鑰是一個安全問題。” “需要圍繞適當使用數據進行強有力的治理。在云中，這比本地部署更為緊急，因為人們可以很容易地復制數據并以未經授權的方式使用它們。”
精確地具有混合的多云模型，可以利用多個云供應商來滿足其計算和存儲需求。O'Connor說：“基于云的數據湖是我們存儲大量數據的地方。” “如果數據源自云，我們將在云中開始處理。如果我們具有本質上突發性的分析需求，則可以利用云。如果我們需要快速開始分析處理，則從云開始。當我們需要處理非結構化數據以及使用包括機器學習在內的高級分析處理時，我們可以利用基于云的數據湖。”
精確數據首席信息官艾米·奧康納（Amy O'Connor）
避免錢坑
盡管使用云服務可以幫助組織避免諸如本地存儲系統之類的成本，但支出可能會很快失控或超出預期。
“預算始終是個問題，”陶布說。“一刀切的所有數據架構可能是IT支出陷阱。在做出將分析遷移到云的決定時，企業通常會感到壓力，需要支付高昂的前期成本并陷入無法滿足其當前需求的長期合同中。”
關鍵是要找到一個不會強制云鎖定的提供商。Taub說：“在評估云平臺時，不要害怕四處尋找可以滿足您當前分析需求的靈活解決方案，并可以根據需要靈活地擴展以滿足您的未來需求。”
O'Connor說，盡管在云中上手很容易，但也很容易將錯誤的作業類型遷移到云中，并在不再需要云應用程序和資源后讓它們繼續運行。
O'Connor說，控制云成本的兩種最有效方法是控制云帳戶的創建方式，并且對于誰在使用云資源完全透明。
“為了解決第一點，我們將每個提供商下的所有云帳戶都遷移到一個'主'帳戶中，” O'Connor說。“我們集中了誰可以創建新的云帳戶。需要新的云資源的個人和團體都要經過正式的請求流程。該請求必須包括業務理由，部門預算信息和業務所有者。”
至于透明性，只要請求得到批準，中央團隊就會在主帳戶下創建任何新的云帳戶。O'Connor說：“該治理政策使我們能夠透明化我們的云提供商開具發票的費用。” “使用請求中提供的信息創建每個帳戶，然后我們可以使用云提供商的門戶或控制臺來監視與每個初始請求匹配的支出。”
精確地利用此支出信息建立內部費用分攤模型，將應計的云成本應用到請求者的預算中。O'Connor說，IT使用這些方法“以提高對云成本的責任感，并確保出于正確的業務原因適當地支出”。
來源：CIO.com 原文鏈接：https://www.cio.com/article/3614196/analytics-in-the-cloud-key-challenges-and-how-to-overcome-them.html
【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】
