老黃重磅發(fā)布5090，定價(jià)15000！22000元的世界最小AI超級(jí)計(jì)算機(jī)也來了

2025-01-07 12:50:59

因?yàn)榫驮趧倓偅宵S一道還發(fā)布全球最小的個(gè)人AI超級(jí)計(jì)算機(jī)——Project Digits。有多強(qiáng)悍？2000億參數(shù)的大模型，直接在你辦公桌上（自己的桌面系統(tǒng)）就能跑！

就在剛剛，老黃穿著全新的皮衣，在CES上一波接一波放大招。

先是發(fā)布了自家最新的GPU——RTX 5090。

直接來看下基于Blackwell架構(gòu)的最新GPU主要性能：

擁有920億個(gè)晶體管
具備4000 AI TOPS（每秒萬億次操作）的性能
能夠?qū)崿F(xiàn)380 RT TFLOPS（每秒萬億次浮點(diǎn)運(yùn)算）的光線追蹤性能
具備1.8 TB/s 的內(nèi)存帶寬，能夠快速地讀取和寫入數(shù)據(jù)
具有125 Shader TFLOPS 的著色器性能

這一50系列GPU的價(jià)格也直接一道公布：

RTX 5090：1999美元（約14651元）
RTX 5080：999美元（約7321元）
RTX 5070 Ti：749美元（約5489元）
RTX 5070：549美元（約4023元）

而Blackwell架構(gòu)關(guān)鍵的互聯(lián)技術(shù)也上了波新的——NVLink72。

依舊是快速來看下主要性能亮點(diǎn)：

72個(gè)Blackwell GPU具備1.4 ExaFLOPS TE FP4計(jì)算能力
晶體管數(shù)量達(dá)到130萬億
擁有2592個(gè) Grace CPU核心
72個(gè)ConnectX - 8網(wǎng)絡(luò)接口卡
576個(gè)存儲(chǔ)芯片，總?cè)萘?4TB，帶寬1.2PB/s
18個(gè)NVLink交換機(jī)，全連接帶寬130 TB/s

非常有意思的是，老黃現(xiàn)場(chǎng)還手持巨大的樣品，宛如一個(gè)盾牌，開始了整活兒：

除此之外，AI超算，現(xiàn)在迎來了PC時(shí)刻。

因?yàn)榫驮趧倓偅宵S一道還發(fā)布全球最小的個(gè)人AI超級(jí)計(jì)算機(jī)——Project Digits。

有多強(qiáng)悍？

2000億參數(shù)的大模型，直接在你辦公桌上（自己的桌面系統(tǒng)）就能跑！

如果把兩臺(tái)Project Digits一塊“食用”，那么還可以跑4050億參數(shù)的大模型。

據(jù)了解，每個(gè)Project DIGITS配備了128GB統(tǒng)一、相干內(nèi)存和高達(dá)4TB的NVMe存儲(chǔ)，僅需標(biāo)準(zhǔn)電源插座即可運(yùn)行。

并且在桌面系統(tǒng)上對(duì)大模型搞完開發(fā)或推理之后，還可以無縫部署到加速云或數(shù)據(jù)中心基礎(chǔ)設(shè)施里。

正如老黃在現(xiàn)場(chǎng)所說的那樣：

AI將成為每個(gè)行業(yè)、每個(gè)應(yīng)用的主流。
在每位數(shù)據(jù)科學(xué)家、AI研究人員和學(xué)生的辦公桌上都可以放置像Project DIGITS一樣的個(gè)人AI超級(jí)計(jì)算機(jī)，讓他們能夠參與并塑造人工智能時(shí)代。

而且Project DIGITS不用等太久哦，今年5月份就會(huì)開始提供，起售價(jià)3000美元（約21978元）。

那么Project DIGITS又是如何做到又小又彪悍的呢？

搭載了全新的GB10超級(jí)芯片

Project DIGITS的關(guān)鍵，就在于它搭載的全新Grace Blackwell超級(jí)芯片（GB10）。

這個(gè)系列芯片想必大家并不陌生了，基于Grace Blackwell架構(gòu)，是一款片上系統(tǒng)（SoC）。

在FP4精度下可以提供高達(dá)1千萬億次浮點(diǎn)運(yùn)算的AI性能。

GB10包含了英偉達(dá)Blackwell GPU（具有最新一代 CUDA 核心和第五代 Tensor Cores），通過 NVLink-C2C 芯片到芯片互連連接到高性能 NVIDIA Grace CPU（采用 Arm 架構(gòu)的 20 個(gè)節(jié)能核心）。

據(jù)了解，聯(lián)發(fā)科參與了GB10的設(shè)計(jì)，對(duì)提升能效、性能和連接性等方面起到了一定作用。

基于這樣的架構(gòu)，企業(yè)和研究人員可以在本地運(yùn)行Linux系統(tǒng)的Project DIGITS上進(jìn)行模型原型設(shè)計(jì)、微調(diào)與測(cè)試，再部署到NVIDIA DGX Cloud等上面。

用戶還可以訪問因?yàn)榇蟮腁I軟件庫(kù)，包括NGC目錄和開發(fā)者門戶中的軟件開發(fā)工具包、編排工具、框架和模型等，可用NVIDIA NeMo框架微調(diào)模型、NVIDIA RAPIDS庫(kù)加速數(shù)據(jù)科學(xué)，運(yùn)行PyTorch等常見框架。

還可利用NVIDIA Blueprints和NVIDIA NIM微服務(wù)構(gòu)建智能AI應(yīng)用；據(jù)了解，從實(shí)驗(yàn)到生產(chǎn)環(huán)境時(shí)，NVIDIA AI Enterprise許可證提供企業(yè)級(jí)安全等支持。

允許商用的世界基礎(chǔ)模型Cosmos

與此同時(shí)，老黃還宣布英偉達(dá)將開源允許商用的世界基礎(chǔ)模型——Cosmos。

Cosmos平臺(tái)既包括用于生成物理世界合成數(shù)據(jù)的擴(kuò)散及自回歸Transfomer模型，還有視頻Tokenizer以及用來加速視頻處理的管道。

其中，Cosmos基礎(chǔ)模型在2000萬小時(shí)的駕駛和機(jī)器人視頻數(shù)據(jù)上訓(xùn)練而成，主要用來加速自動(dòng)駕駛和下一代機(jī)器人訓(xùn)練研發(fā)。

開發(fā)者既可以用Cosmos生成物理合成數(shù)據(jù)，也可以用英偉達(dá)NeMo框架+私有視頻數(shù)據(jù)進(jìn)行微調(diào)。

而如此發(fā)布也是基于目前AI技術(shù)的發(fā)展大勢(shì)。

具體而言，本次CES大會(huì)上，老黃一共介紹了三類模型：

Nano：超低延遲的實(shí)時(shí)模型，優(yōu)化用于邊緣部署；
Super：高性能基線模型，適用于開箱即用的微調(diào)和部署；
Ultra：最高準(zhǔn)確度和質(zhì)量，適合模型定制；

據(jù)介紹，這些模型的參數(shù)大約為40億~140億，任何企業(yè)無論規(guī)模大小，都可以自由使用Cosmos模型。

目前已公布的第一批試用者包括機(jī)器人公司1X、Agility Robotics，以及自動(dòng)駕駛領(lǐng)域的Uber、小鵬、比亞迪等。

對(duì)了，老黃這次特意官宣豐田將基于英偉達(dá)芯片和操作系統(tǒng)開發(fā)下一代新能源汽車。

從用法展示來看，Cosmos已經(jīng)能夠幫助工業(yè)界和自動(dòng)駕駛生成大量數(shù)據(jù)，從而加速相關(guān)AI技術(shù)研發(fā)了。

即日起，開發(fā)者可以在英偉達(dá)API目錄中預(yù)覽第一批Cosmos模型，并從NGC目錄和Hugging Face下載模型和微調(diào)框架。

另外，Cosmos也為進(jìn)一步擴(kuò)展Omniverse（英偉達(dá)工業(yè)數(shù)字化和物理AI仿真平臺(tái)）提供了新的可能。

開發(fā)者可在Omniverse中構(gòu)建3D場(chǎng)景，渲染輸出后用于Cosmos模型生成合成虛擬環(huán)境，最終用于物理人工智能訓(xùn)練。

還有比較壯觀的場(chǎng)面，就是老黃站在一排機(jī)器人的中間，頗有具身智能boom時(shí)代的意味。

還有兩個(gè)新模型服務(wù)

除了非常fashion的世界模型之外，老黃這次還發(fā)布了兩個(gè)大方向的模型服務(wù)。

一個(gè)是AI基礎(chǔ)模型，主要適用于RTX AI PC，主打的就是輕松、靈活開發(fā)。

具體而言，通過連接到圖形用戶界面（GUI）的NIM微服務(wù)，用戶可輕松訪問和部署最新生成式 AI 模型。

英偉達(dá)發(fā)布了來自Black Forest Labs、Meta等頂級(jí)模型開發(fā)者的一系列NIM微服務(wù)，涵蓋多種類型，如Llama Nemotron系列中的Nano模型可作為RTX AI PC和工作站的微服務(wù)，擅長(zhǎng)智能體AI任務(wù)。

這些微服務(wù)包含在PC上運(yùn)行AI的關(guān)鍵組件，并針對(duì)英偉達(dá)GPU進(jìn)行了優(yōu)化，可在Windows 11 PC（搭配 WSL）上快速下載、設(shè)置和運(yùn)行，且與諸多AI開發(fā)和智能體框架兼容。

NIM微服務(wù)之外，AI藍(lán)圖（AI Blueprints）也即將在PC上可用。

AI藍(lán)圖是基于NIM微服務(wù)構(gòu)建而來，主要為數(shù)字人類、內(nèi)容創(chuàng)作等提供預(yù)配置參考工作流程。

例如PDF轉(zhuǎn)播客藍(lán)圖可提取PDF內(nèi)容生成腳本及音頻，3D引導(dǎo)生成式AI藍(lán)圖能讓藝術(shù)家利用3D場(chǎng)景更好地控制圖像生成。

具體到產(chǎn)品，英偉達(dá)預(yù)覽了Project R2X，這是一個(gè)具有視覺功能的PC虛擬形象，可通過NVIDIA RTX Neural Faces算法渲染面部，并由新的Audio2Face - 3D模型驅(qū)動(dòng)動(dòng)畫，能連接多種AI服務(wù)和微服務(wù)。

據(jù)了解，從今年2月開始，NIM微服務(wù)和AI藍(lán)圖就可以使用了，多家PC制造商和系統(tǒng)構(gòu)建商將推出支持NIM的RTX AI PC。

同樣是基于NIM微服務(wù)，英偉達(dá)這次還推出了Nemotron模型家族，包括：