AI驅動對象存儲成為企業存儲主導技術
?關鍵洞察
- AI驅動存儲轉型：AI的需求推動了對象存儲成為企業存儲的主導技術，尤其是對于大規模數據處理和并行計算工作負載，尤其是在AI模型訓練、推理及數據湖倉存儲中。
- 對象存儲的普及：超過70%的云原生數據已存儲在對象存儲中，預計兩年內這一比例將增至75%。對象存儲因其性能、擴展性、安全性等特點，成為支持AI工作負載的首選技術。
- AI工作負載對存儲的需求：AI（尤其是生成式AI）對存儲性能和規模提出更高要求，對象存儲能滿足這些需求，支持大規模數據集、模型訓練、生成式AI向量數據庫等。
- AI挑戰：盡管AI發展迅速，企業面臨的主要挑戰包括安全性、數據治理和高成本，尤其是在公有云中運行AI時，成本和性能成為關鍵考量因素。
- 云與私有云的平衡：雖然公有云在AI工作負載中占主導地位，但混合云部署日益增多，企業對私有云和公有云的結合使用感興趣，尤其是在面對成本和數據控制需求時。
- 未來存儲發展：隨著數據存儲規模和訪問需求的不斷增長，對象存儲在性能、擴展性、安全性及簡便性上的優勢將持續推動其在AI時代的應用。?
數據存儲領域正經歷一場深刻變革。
AI從根本上重塑了我們對數據存儲規模、性能及大規模并行處理能力的需求。以往，企業和組織多依賴于傳統的SAN/NAS架構。然而，隨著非結構化數據呈指數級增長，規模已至PB級別，一個事實愈發清晰：對象存儲已成為企業存儲需求的主導技術。
報告中最明確的發現是，企業有多少比例的數據存儲在對象存儲中。IT領導者指出，企業超過70%的云原生數據存于對象存儲中。這一比例頗為驚人，且預計將持續增長。
針對您所在組織目前在云原生存儲中的數據量。
據您所知，當前哪些數據存儲在對象存儲中？
針對您所在組織的數據存儲演變歷程。
您認為兩年后，數據中將有多少比率會存儲在對象存儲中？
展望未來，企業領導者計劃加大投資力度，預測兩年后，75%的云原生數據將存儲于對象存儲中。AI的發展以及面向AI的數據湖倉（Data Lakehouse）的興起，將在未來幾年進一步推動這一趨勢，使對象存儲成為未來可預見時間內的標志性存儲技術。
AI的必要性
鑒于對象存儲在企業中占據如此重要的地位，我們向IT領導者詢問了推動采用對象存儲的動因以及哪些工作負載利用了這些對象存儲。
推動您所在組織采用對象存儲（公有云或私有云）的前三大業務或技術因素是什么？
前三大回答是相互關聯的概念：AI項目需要大規模性能。在1PB規模下實現高性能相對容易，但在100PB規模下保持高性能則完全不同。而這正是AI工作負載的核心需求。
由于這一問題的重要性，我們從稍微不同的角度再次提出，得到的答案基本一致。
哪些工作負載使用對象存儲？
高級分析（Advanced Analytics），例如Spark、Presto/Trino、SQL Server和Snowflake（54%）。
這類工作負載，如網絡安全異常檢測，需要持續的大規模吞吐能力以支持高速分析。大多數供應商建議將架構分割為更小的命名空間，因為它們無法處理單一的超大規模（Exascale）命名空間。然而，這種工作負載正是對象存儲解決方案的典型應用場景。
AI模型訓練和推理（AI Model Training and Inference），包括LLM和RAG（51%）。
AI需要性能和規模，而對象存儲能夠滿足這一需求。因此，未來對象存儲將繼續占據優勢。
數據湖倉存儲（Data Lakehouse Storage）（44%）。
數據湖倉完全基于對象存儲構建，71%的受訪者表示他們已經部署或計劃在未來12個月內構建數據湖倉。這表明數據湖倉已成為對象存儲的優先應用方向，并可能進一步增長。
以上三種使用場景都具有巨大的行業變革潛力。然而，從生成式AI的迅速崛起到傳統AI形式的持續重要性，這些AI工作負載目前是推動對象存儲新采用的最強動力。
貴組織將哪些類型的訓練集發送到對象存儲中進行AI分析？
現代對象存儲具備支持AI/ML等高要求工作負載所需的性能、可擴展性和安全性等特性。因此，開發者選擇對象存儲來保存各種數據集，用于訓練模型、微調模型，以及構建生成式AI的向量數據庫。隨著AI應用場景的不斷拓展，數據集、模型和向量數據庫的規模也將隨之增長。
我們向IT領導者詢問了其組織用于AI分析的訓練數據集類型，結果涵蓋了從地理空間數據到應用程序數據的10種不同數據類型。其中，應用程序數據的重要性尤為突出。雖然這一類別較為寬泛，但表明IT領導者正在嘗試從核心業務數據中挖掘更多價值。
我們還深入探討了這些IT領導者如何利用這些訓練數據集，特別是在AI工作負載中的應用。
貴組織目前運行或計劃在對象存儲上運行哪些類型的AI工作負載？
值得注意的是，在生成式AI（GenAI）領域，基于云托管LLM（Cloud Hosted LLM）和自托管LLM（Self Hosted LLM）的選擇幾乎不相上下。盡管目前公有云略占優勢，但這可能預示著企業對關鍵工作負載部署位置的考量正在發生轉變。
另一個有趣的發現是，傳統AI依然保持著強勁的生命力。企業并未因生成式AI的興起而忽視傳統AI。大量數據類型仍被用于訓練傳統AI模型，這表明這些工作負載的重要性依然存在。
而自定義語料庫（Custom Corpus）的排名相對較低，這可能暗示存在一定的挑戰。在訓練數據集和工作負載相關的問題中，受訪者對自定義語料庫及基于自定義語料庫的RAG的選擇均低于其他選項。這表明企業在構建自定義語料庫所需的基礎設施、工程和實驗方面可能面臨困難。
在具體的AI應用場景方面，IT領導者的視野相對廣泛。從排名最高的威脅檢測到排名最低的物聯網遙測，各選項之間的差距較小。這表明數據基礎設施團隊正在積極探索如何為組織創造更大的業務價值。
貴組織對象存儲的數據應用與哪些AI場景？
AI的發展并非一帆風順。在接受調查的組織中，超過96%已經開始運行AI/ML工作負載，并逐漸發現了其中的痛點。我們進一步向IT領導者提出了以下問題：
貴組織面臨的AI挑戰中，最具挑戰性的三個方面是什么？
受訪者報告指出，AI面臨的三大主要挑戰是：
1. 安全性和隱私問題（44%）
這一挑戰在IT領導者中備受關注。AI模型在數據處理和保護方面存在諸多不確定性，企業希望對數據擁有絕對控制權。他們擔心公有云提供商的數據泄露問題，不愿因此喪失競爭優勢。在AI應用中，企業傾向于避免將數據發送至主流LLM（Large Language Models，大型語言模型）進行推理，而是希望將數據完全保存在本地。這需要在性能和安全之間找到平衡。盡管公有云擁有豐富的GPU資源，且“時間到洞察”（Time to Insight）至關重要，但數據顯示企業更偏好私有云，尤其在部署生成式AI（GenAI）工作負載時。
2. 數據治理（27%）
與安全問題類似，AI的數據治理同樣強調控制權。企業領導者需要明確掌握數據的內容，并嚴格監管數據訪問權限。例如，當AI或ML工程師需要從私有云提取原始數據并將其傳輸至公有云（如AWS或Google Cloud）以微調AI模型后再將數據返回私有云時，數據在傳輸和存儲過程中必須加密。此外，私有云與公有云需要通過統一的身份提供商（Identity Provider）實現身份驗證與授權。健全的訪問控制以及清晰的訪問記錄和變更記錄是強有力的數據治理的基礎。
3. 云原生存儲（25%）
云原生存儲為企業AI需求提供了強有力的支持，包括容器化、編排、RESTful API以及微服務架構。云原生存儲基于軟件定義和標準化，擁有豐富的開箱即用生態系統。而傳統的SAN（Storage Area Network，存儲區域網絡）和NAS（Network-Attached Storage，網絡附加存儲）技術由于其硬件定義的特性，并不適合云原生環境。
AI的入門通道——數據湖倉
研究表明，傳統AI仍為企業創造著價值。另一個IT領導者關注的重點投資領域是數據湖倉架構。回顧調查結果可以發現，高級分析（Advanced Analytics）是最受歡迎的應用場景，而現代數據湖/湖倉（Modern Data Lake/Lakehouses）排名第三。
許多高級分析工作負載都基于數據湖/湖倉架構構建，使其成為實現更復雜AI工作負載的重要入門通道。更重要的是，這些工作負載正在模糊“高級分析”的界限，正如Snowflake、Databricks、Dremio、Starburst、Athena和BigQuery等產品的最新發布所顯示的那樣。值得注意的是，這些產品無一例外地都構建在對象存儲之上。
因此，絕大多數受訪的IT高管計劃立即利用對象存儲構建大規模數據湖倉架構。
企業運行云基礎設施和對象存儲的現狀
云是一種操作模式，而非特定位置。通過容器化、編排、RESTful API（如S3）、微服務和軟件定義基礎設施等核心支柱，整個技術棧及其上的數據可以實現可移植性。
公有云的基礎是對象存儲。AWS S3、Azure Blob Storage和Google Cloud Storage等平臺的成功便印證了這一點。這些平臺的主要存儲技術均為對象存儲。
因此，當被問及云基礎設施的部署情況時，公有云的領先地位并不令人意外。
受訪者的組織大多已采納基于云的基礎設施。
這一趨勢同樣適用于新興的AI/ML工作負載。然而，需要注意的是，無論是公有云還是私有云，都存在大量的混合部署。這要求公有云和私有云基礎設施都必須具備云原生特性。然而，SAN/NAS或硬件設備技術由于其本質，并不具備真正的云原生特性。
貴組織當前如何運行AI/ML工作負載？
目前，最大的受訪者群體（48%）采用了混合部署方式，在公有云和私有云中同時運行AI/ML工作負載。這是一個值得持續關注的數據點。經濟因素可能會加速這種平衡的轉變。企業對成本的關注正使公有云逐漸變得不適合AI/ML的需求，這已推動更多的數據遷回本地（Repatriation）以及對私有云的更廣泛使用。
最后，為了避免將企業的云使用情況簡單化，我們還詢問了受訪者所使用的云數量。結果與其他研究一致，即現代企業通常是多云環境的用戶。
AI時代存儲的挑戰、機遇與需求
現代對象存儲為企業組織提供了支持多樣化應用場景的靈活解決方案，遠遠超出了過去以歸檔和備份為主的用途。隨著企業對對象存儲依賴程度的加深，他們對對象存儲功能的期望也不斷提高。
研究發現，無論在公有云還是私有云環境中，企業認為對象存儲最重要的三大功能是：
另一方面，受訪者指出本地數據存儲基礎設施面臨的三大挑戰是：
盡管未進入前三，但性能問題（37%）和擴展性問題（31%）也被視為私有云的主要挑戰之一。
除了成本考量（后續會進一步探討），這些結果揭示了選擇存儲技術，尤其是對象存儲時的三個關鍵驅動因素：
1.安全性
不僅需要高水平，還需要簡單易用。無論存儲架構如何，安全性始終是關鍵關注點和必要功能。在當今環境中，靜態加密和傳輸加密已成為基本要求，更高水平的安全能力也成為必需條件。與知名身份提供商集成以實現認證和授權，使對象存儲能夠輕松融入現有數據中心。然而，安全性的一個關鍵要素是其簡單性。復雜性本身就是一個攻擊面，系統越復雜，漏洞越多。能夠提供簡單安全性的對象存儲，使企業在更換云提供商或采用新解決方案時，不會對數據安全性造成妥協，同時具備更大的靈活性。
2.高成本
在選擇存儲解決方案時，成本仍然是一個重要因素，無論是對象存儲還是其他類型的存儲。雖然成本并非對象存儲的核心價值驅動因素，但它可以在不同解決方案之間起到區分作用，尤其是在比較私有云和公有云時。
數據在成本方面呈現出兩面性，這對IT領導者來說并不陌生。首先，私有云相較于公有云具有更好的經濟性。
生成式AI的興起已導致公有云成本急劇攀升。近40%的受訪者表示，他們“非常”或“極為”擔心在云中運行AI/ML工作負載的成本，另外29%的受訪者也表示對此有一定的擔憂。隨著規模的擴大，訪問公有云中的數據，尤其是用于訓練和微調AI模型的數據，變得越來越困難且成本高昂。調查顯示，云支出同比增長了30%，Tangoe的報告還表明，72%的IT領導者表示云支出已經變得不可控。
企業希望避免重蹈覆轍，不想再次因為云存儲成本飆升而陷入困境——這正是Cloud FinOps（云財務運維）行業誕生的原因。隨著AI工作負載導致數據存儲和計算成本的激增，公有云正逐漸失去其可行性，這推動了更多的私有云使用甚至數據回遷。雖然公有云擁有大量GPU，適合用于小規模的實驗和學習，但在生產環境中，企業更需要控制和簡化。
其次，在私有云中，硬件設備模型（appliance model）并不具有成本優勢。43%的受訪者將成本問題列為私有云對象存儲方案的第二大挑戰。企業對硬件設備模型感到厭倦，因為它會導致廠商鎖定并限制選擇靈活性。相反，企業希望能夠使用智能軟件、簡單硬件，并且價格能夠與其部署需求相匹配。
軟件定義存儲（SDS）提供了企業所需的靈活性、控制力和杠桿作用——這也是它成為當前及未來首選架構的原因。然而，由于成本優勢，許多企業正在選擇將某些工作負載回遷到私有云基礎設施。
3.數據管理與規模化性能需求
如前所述，云是一種操作模式，而非特定位置。與其相適應的存儲即為云原生存儲（Cloud-native Storage）。不符合這一特性的存儲通常即為硬件設備。
四分之一的IT領導者表示，他們在管理和整合私有云對象存儲時遇到了困難。其原因或在于他們采用了硬件設備模型。硬件設備無法容器化，本質上并非云原生。
基于硬件的存儲系統作為一種固定的硬件中心化解決方案，固有地受到其物理限制和靜態架構的約束。它缺乏與容器化應用程序和現代云原生工作流無縫集成的靈活性。硬件設備通常需要手動擴展，這迫使企業過度配置存儲，導致效率低下和成本增加。此外，硬件設備依賴于專有硬件，使得它們不適用于需要靈活性、可擴展性和分布式操作的環境。
相比之下，軟件定義的云原生對象存儲體現了云操作模型的原則。它與特定硬件解耦，可以在任何基礎設施上部署，無論是本地、公有云中，還是在混合部署環境中。云原生對象存儲能夠彈性擴展，根據需求調整容量，并與Kubernetes等編排工具無縫集成。該模型還利用API進行自動化和可編程性，幫助IT團隊高效管理大規模的分布式數據環境。
這些因素推動了存儲技術選擇標準的轉變。當我們詢問IT領導者如何排序選擇對象存儲（公有云或私有云）時，他們提供了以下反饋：
在您看來，選擇對象存儲（公有云或私有云）時，最重要的因素是什么？
大規模數據存儲的運營：何為、為何、如何
操作細節非常重要，我們向受訪者請求了一些關于其存儲系統架構、背后硬件以及相關團隊的數據。以下是部分數據。
可擴展性一直是推動對象存儲崛起的關鍵因素之一。如今，隨著AI和分析對存儲和檢索大量數據的靈活性需求不斷增加，企業對性能和規模的要求比以往任何時候都更高。在各種基礎設施中，對象存儲提供了容量、性能和簡便性，使企業數據能夠達到新的高度。
我們的研究發現，近20%的云端對象存儲部署規模至少為10PB。在這個規模上，大多數技術開始出現裂痕。這是傳統API（如POSIX）變得過于冗長或第三方元數據數據庫出現故障的時刻。更重要的是，市場上的每個預測都表明，企業數據正在以超過60%的年復合增長率（CAGR）增長。
這意味著典型的對象存儲集群將增大規模。這是由于無結構數據的持續增長（預計年增長率為55%-65%），這些數據用于訓練傳統AI和生成式AI模型，并且在各類應用中的對象存儲使用也在增加。云對象存儲市場也有望從2023年的65億美元增長到2031年的180億美元，幾乎是其三倍，顯示出更廣泛的采用和更大規模的部署。
對象的大小也很重要。能夠在小型對象上良好運行是頂級對象存儲的一個顯著特點。盡管如此，大多數對象的大小都在MB級別。
企業級對象存儲中的典型對象大小是多少？
網絡是一個動態變化的領域，AI無疑處于這一變化的推動之中。幾年前被認為極為快速的100GbE網絡如今已成為基礎設施標準。接近一半的受訪者（43%）表示，他們組織中的對象存儲集群的典型網絡速度為100GbE或更快。這些高速網絡的出現與高吞吐量、高性能對象存儲的采用趨勢相一致。傳統的對象存儲應用（如歸檔和備份）不需要如此高的帶寬，但像災難恢復這樣的工作負載（41%的受訪者表示使用對象存儲進行災難恢復）確實需要這種性能。
對速度的需求也體現在驅動器類型上。現在，我們生活在一個NVMe/SSD的世界中，這反映了它們相較于HDD在性能和密度方面的優勢。
在未來三年，NVMe預計將成為最大的增長領域，在企業中的數據份額預計將增加3個百分點。
貴組織當前在以下存儲平臺中存儲的數據比例是多少？未來三年，NVMe預計將成為增長最快的領域，在企業中的數據份額預計將增加3個百分點。
存儲團隊的動態是一個值得關注的領域。盡管IT運營/基礎設施顯然是主導力量，但它絕不是唯一參與存儲管理的團隊。許多團隊都在參與其中，這也符合當前數據幾乎是每個組織核心資產的事實。
哪些團隊參與了貴組織的存儲管理？
話雖如此，DevOps、開發和數據團隊顯然都在其中扮演著重要角色。
根據您的經驗，管理PB級數據需要多大的團隊？
說到團隊合作，管理PB級數據需要一個完整的團隊。在受訪組織中，超過三分之二的受訪者表示，管理這種規模的數據至少需要四名或更多的全職員工。
總結：一個以AI為中心、以對象存儲為主導的世界
到2024年，大多數企業的數據已經存儲在對象存儲中，這一趨勢預計將持續增長。對象存儲主導地位的兩個關鍵原因很明確：
對象存儲不僅支持AI，還推動AI的發展，滿足安全需求，解決成本和可擴展性問題，并支持跨工作負載的高性能。
企業在數據存儲上優先考慮大規模性能，可能比其他任何因素都更為重要。他們希望獲得云原生世界中傳統SAN/NAS技術難以提供的靈活性和簡便性。
不斷攀升的公有云成本不可持續——但顯然，成本在選擇工作負載和可擴展性時不是最重要的因素。我們可以推測，在成本和功能之間做出選擇時，企業將更加注重后者。在所有可用的解決方案中，運行在私有云上的軟件定義存儲最有可能讓企業獲得所需的一切。
本文轉載自 ??Andy730??，作者： 常華Andy
