2024 年 Nvidia GTC 大會涵蓋了圍繞 AI 時代的主題，這引出了以下總體問題：各行業組織的云和 IT 基礎設施是否已為 AI 的未來做好準備?

在主題演講中，Nvidia 首席執行官黃仁勛在加州圣何塞 SAP 中心向觀眾發表了兩個小時的演講。演講的亮點是新的Blackwell GPU 平臺，該平臺旨在在萬億參數大語言模型上運行實時生成 AI。每個 Blackwell 芯片提供 2080 億個晶體管，最新版本的 NVLink 提供 1.8TBps 的雙向吞吐量。

這一最新聲明激發了人們對人工智能潛力的日益興奮。根據TechTarget 的企業戰略集團研究，54% 的組織將在未來一年內擁有或預計將擁有生成式人工智能。

然而，盡管有這么多令人興奮的事情，Nvidia GTC 上展示的技術規模也應該讓任何企業決策者三思而行。在做出任何決定之前，先問問自己：是否需要這種級別的技術?能負擔得起嗎?如何根據自己的組織和用例調整我 AI 基礎設施投資規模?

盡管 GPU 技術有時會供不應求，但可用的基礎設施選項卻并不短缺。三大公共云提供商 AWS、Google Cloud Platform 和 Microsoft Azure 在 Nvidia GTC 期間宣布計劃利用新的 Blackwell 技術。

這些公共云服務為組織提供了利用最新 GPU 技術的選擇，而無需在本地采購和部署基礎設施。雖然預計云應用將大量采用，但 AI 和生成式 AI 工作負載正在推動本地基礎設施的復興。

根據研究， 78% 的企業表示他們更愿意將高價值的專有數據保存在自己的數據中心。人工智能計劃的成功取決于數據，企業希望將人工智能工作負載部署到更靠近數據所在位置，以降低成本并加快價值實現時間。

因此，基礎設施提供商正在積極致力于通過提供將其技術與 Nvidia 的技術相結合的集成和經過驗證的基礎設施產品來加快 AI 計劃的價值實現時間。

在展廳里，大家看到了戴爾科技、DataDirect Networks、日立 Vantara、Hammerspace、Liqid、Pure Storage、Vast Data 和 Weka 的產品。每款產品都旨在簡化 Nvidia 技術的部署和集成，同時加快 AI 計劃的價值實現時間。盡管目的相似，但這些產品針對的是成本最小。雖然檢索增強生成等技術可以降低現有模型出現幻覺的可能性，但之前的不良體驗可能會阻礙內部用戶對 AI 項目的熱情。

用例識別至關重要，因為基礎設施需求可能會因所用數據的規模、用于訓練模型的參數數量以及你計劃開發自己的模型還是使用自己的數據增強現有模型而有很大差異。使用現成模型的檢索增強生成也可以使基礎設施投資比人們預期的要輕得多。

在確定用例時，組織可以利用不斷壯大的服務合作伙伴生態系統來確定正確的策略。此外，戴爾科技等基礎設施提供商正在通過補充咨詢服務組合來增強其基礎設施選項，以幫助組織識別和定義用途，以及準備其數據以用于 AI 計劃。

人工智能和生成式人工智能有望改變整個商業格局。鑒于最新 Nvidia 技術的強大功能，很容易讓人不知所措。但不要驚慌，人工智能計劃通常可以從合理的基礎設施投資開始。重要的是確定正確的用途和數據集，并在流程早期利用合作伙伴。