大規模的人工智能(AI)在容量和性能方面提高了存儲基礎設施的門檻。對于人工智能或機器學習(ML)環境，期望增長到數十個甚至數百TB的容量并不少見。盡管那些只提供全閃存陣列的供應商可能會宣稱，這些環境實在太大而無法僅存儲在全閃存的一層上。這些環境中的大多數(由于它們的并行性質)在硬盤的服務幾乎與從閃存中獲得的服務一樣好。

[[314860]]

要求1：高性能網絡

人工智能/機器學習環境創建使用內部或直接連接存儲(DAS)的計算服務器集群的情況并不少見。即使共享存儲在使用可用容量和將工作負載更均勻地分配給計算節點方面效率更高，組織仍愿意犧牲這些效率來消除計算節點和共享存儲創建之間的網絡延遲。

NVMe光纖網絡(NVMe-oF)是明確設計用于基于內存的存儲設備(如閃存和非易失性內存的下一代網絡。它提供的延遲幾乎與DASNVMe相同。NVMe的深度命令和隊列深度使其也非常適合高度并行化的工作負載，并且人工智能/機器學習可能是所有工作負載中最并行的。NVMe-oF可能是專門為內存存儲而設計的，但它也是為人工智能/機器學習量身定制的。

要求2：共享存儲

如果NVMe-oF可以解決計算和存儲之間的延遲問題，那么它將啟用第二個要求，即共享存儲。通過NVMe-oF連接的共享存儲解決方案，工作負載可以受益于共享存儲的所有自然屬性。首先，所有節點都可以訪問所有數據，這意味著工作負載可以更均勻地分配其計算負載。這也意味著具有圖形處理單元(GPU)的節點可以訪問所有數據。由于圖形處理單元(GPU)的價格比CPU貴得多，因此讓圖形處理單元(GPU)處于繁忙狀態是當務之急，而共享存儲則使這變得更加容易。

在衡量數十個甚至幾百PB的工作負載容量需求時，存儲效率的任何提高都可以節省大量成本。在每個計算節點都有專用驅動器的群集中，IT部門無法輕松地將可用存儲容量重新分配給群集中的其他節點。直接連接存儲(DAS)模型中缺乏資源池，這也意味著組織無法有效使用制造商推向市場的大容量驅動器。現在，具有雙重用途的節點(計算和存儲)可以安裝12個或更多16TB以上閃存驅動器或18TB以上硬盤驅動器，而單個節點可能無法有效使用。如果人工智能/機器學習存儲體系結構從專用服務器中池化那些相同的硬盤，則可以對其進行更精細的分配。人工智能/機器學習工作負載不僅需要擴展以滿足容量需求，而且還必須可以直接訪問存儲節點以滿足性能需求。

要求3：多層存儲

考慮到人工智能/機器學習數據集的大小，分層幾乎是必須的，因為數十PB的閃存太昂貴了。公平地說，某些人工智能工作負載不遵循80/20規則，在任何給定時間，80%的數據都是不活動的。這些工作負載可以從100%休眠狀態變為100%活躍狀態。盡管如此，它們是高度并行的，并且數百個性能較低的硬盤驅動器可同時滿足工作負載的需求，從而可以提供這些工作負載所需的性能。如果沒有，他們可以在當前網絡技術允許的范圍內盡快傳送數據。

要求4：并行訪問

并行訪問意味著存儲基礎架構中的每個節點為人工智能/機器學習集群中的每個計算節點提供對其所需數據的直接訪問。單個控制節點不會成為瓶頸。高水平的并行性對于人工智能/機器學習至關重要，因為可能需要同時訪問存儲池的計算節點數量眾多。正是這種并行性使吞吐量能夠使硬盤作為人工智能/機器學習存儲基礎設施中的組件而變得可行。并行文件系統幾乎總是需要客戶端或代理，但是與提供典型訪問相比，該代理除了提供并行訪問外，還通常需要較少的開銷。

要求5：多種協議

盡管需要并行訪問進行處理，但另一個要求是多協議訪問，這對于將數據提取到存儲基礎架構中特別有用。許多人工智能和機器學習項目都從物聯網(IoT)設備接收數據。這些設備通常需要與其附帶的協議進行通信。許多設備通過SMB或NFS進行通信，少數設備使用S3。更重要的是，幾乎沒有人使用本機并行文件系統客戶端。

要求6：高級元數據處理

人工智能/機器學習工作負載是元數據繁重的，盡管不是典型地因為它們使用像媒體和娛樂工作負載那樣的豐富元數據而并非如此。元數據在人工智能/機器學習工作負載中的重要性來自其通用文件的數量。在大多數情況下，數十億至數百PB的人工智能工作負載由數十億個文件組成。這些文件中的每個文件都有元數據，就像其他工作負載一樣，大部分IO事務都來自元數據。人工智能/機器學習存儲基礎結構必須管理元數據，以便即使文件數量增加，它也可以維持系統的性能。元數據需要在整個存儲群集中進行分配，以便所有節點都可以參與其管理。供應商可能還會查看每個存儲節點中閃存上的存儲元數據，以確保系統始終響應。

結論

人工智能/機器學習工作負載與組織過去可能運行的任何其他工作負載從根本上不同。早期的人工智能/機器學習項目已經依靠DAS進行數據存儲。問題在于直接連接存儲(DAS)無法平均分配負載，這對于每個人工智能工作負載的GPU數量增加至關重要。此外，直接連接存儲(DAS)的效率極低，復制和移動數據所花費的容量和時間上的浪費消除了廉價硬盤的價格優勢。