許多企業在推出人工智能項目時關注的是計算能力和網絡。但他們可能忽略了他們對海量存儲需求的更大圖景。

隨著企業開始部署和使用人工智能，許多人意識到他們需要獲得巨大的計算能力和快速的網絡功能，但存儲需求可能被忽視了。

一些人工智能和存儲專家表示，啟動聊天機器人或采用人工智能助手不太可能對大多數企業的存儲容量造成負擔，但可以訪問數百萬個數據點的大型人工智能項目可能需要數tb的新存儲空間，可能會花費數千萬美元。

Duos Technologies公司首席技術官Jeffrey Necciai表示，目前有幾種存儲選擇，對于某些人工智能功能來說，云存儲或傳統硬盤可能就足夠了。該公司利用人工智能與成像技術來檢查行駛中的火車。

但Necciai和其他專家表示，對于需要提供即時響應或信息的人工智能系統，距離人工智能工作負載位置數百英里的硬盤和云存儲可能太慢了。

Necciai說，例如，Duos Technologies公司在掃描鐵路車輛后60秒內提供通知。在這種情況下，該公司需要與人工智能計算單元一起工作的超高速存儲。

不僅僅是硬盤的大小

Necciai說，考慮大型人工智能項目的企業需要考慮他們需要的存儲量以及他們的存儲同時處理多個任務的能力。

他補充說:“我們需要為多個線程同時快速地寫入存儲，我們需要為多個線程快速地從故事存儲中讀取。”“對我們來說非常重要的是，能夠同時對存儲進行操作。”

去年，Duos Technologies公司掃描了850萬輛火車車廂，每次掃描可能產生1050多張圖像。Duos軌道車檢查門戶使用四個高性能存儲陣列，每個存儲陣列包含16個NVMe驅動器，總容量約為500TB。

該公司還使用了大約25TB的傳統存儲空間，用于內部培訓和開發人工智能，減少了對即時結果的需求。Necciai說:“我們希望利用所有這些資源來做我們需要做的事情。歸根結底，就是用正確的工具做正確的工作。”

海量數據需求

與Duos Technologies公司一樣，其他一些運行大型人工智能項目的企業正在轉向大容量SSD或NAND閃存來滿足其存儲需求。

高速內存比硬盤貴得多，每千兆字節的成本高達1,000美元，但它們還有其他優勢。企業固態硬盤制造商Solidigm公司的領導力營銷高級總監Roger Corell舉例說，固態硬盤的能效幾乎是服務器和硬盤機架的三倍，占用的空間也更小。

他說，隨著企業采用更復雜、多模式的人工智能項目，以及越來越多的員工開始使用人工智能工具，對高容量、多線程存儲選項的需求只會增加。

科雷爾補充道:“人工智能在需要存儲的數據量以及需要以多快的速度訪問這些海量數據集方面是如此強大。

此外，人工智能和機器學習項目的對象存儲公司MinIO公司首席技術官Ugur Tigli表示，除了SSD或NAND選項外，一些公司正在使用私有云或托管設施來滿足他們的存儲需求。

他說，采用人工智能的MinIO客戶通常會將存儲容量增加4到10倍，他鼓勵大規模人工智能用戶在公共云之外尋找存儲需求，因為使用私有云或托管服務的成本可能比公共云低60%。

他說:“在數百P字節或1E字節或2E字節的規模上，在公共云中行不通。根據容量、分層和數據訪問配置，每年的總成本將在數千萬到數億美元之間。”

Tigli補充說，與公共云不同，企業用戶可以私下構建并“突發”到云上，以獲得額外的GPU使用。他說:“這里的關鍵是，計算是彈性的，但數據有引力，并且以可預測的(盡管是加速的)速度增長，因此需要相應地構建計算。”

存儲作為平臺

數字轉型服務商AHEAD公司的領域首席技術官Priyanka Karan補充說，另一個選擇涉及PB規模存儲平臺。她表示，“PB規模存儲平臺旨在減少數據移動的挑戰，即將數據從最初降落的地方帶到可以用于人工智能訓練的地方。我們的目標不是建立一個新的倉庫。”

她說，一些可用的存儲平臺建立在NAND閃存上，這提供了高吞吐量和低延遲，對于將數據饋送到GPU和TPU至關重要。

一些人工智能用戶和專家表示，現在有幾種選擇，所需的存儲數量和類型取決于組織正在部署的人工智能項目。

Karan表示，脫機批處理比實時工作負載的內存需求更低。她補充說，在某些情況下，二級存儲選項可用于保存訓練和運行人工智能模型所需的大量數據。

選擇正確的存儲選項還取決于經常提到的數據重力（也就是數據集的大小），是否可以將其移動到云中進行處理，或者對數據進行處理是否有意義。在一些人工智能項目中，數據存儲與人工智能計算一起位于數據中心、另一個公共云或數據創建的邊緣。

企業還有許多其他因素需要考慮，包括安全性、法規或遵從性挑戰。對于云存儲，Karan說。“網絡、距離和延遲都是考慮因素，但他們必須考慮額外的成本變量。”

此外，除了存儲本身的成本之外，可能還有數據傳輸費用、訪問費用和非本地存儲的管理費。另一方面，本地存儲選項可能涉及巨大的前期投資，以及維護、電力和冷卻以及員工工資。

Karan說:“組織必須評估他們的特定需求，包括性能、成本和可擴展性，為他們的人工智能計劃選擇最佳解決方案。”