老黃現(xiàn)場演示與游戲NPC聊天！大模型開口建議玩家去找犯罪頭目，網(wǎng)友：西部世界成真
游戲行業(yè)現(xiàn)在還真真兒是被老黃顛覆了！
這廂，老黃在發(fā)布會上直接與游戲NPC實時對話，并隨手發(fā)布大模型代工服務(wù)，直接讓游戲行業(yè)生產(chǎn)力躍上一個臺階：
那邊，游戲股直接飛升，多家公司漲停：
△圖源：上海證券報
英偉達(dá)高管John Spitzer認(rèn)為：
生成式AI有潛力徹底改變玩家與游戲角色互動的方式，并大幅提高游戲的沉浸感。
不少網(wǎng)友看到后直接狂喜：“可以交個智能女朋友了”“不能怪我沉迷游戲，NPC太能聊了”
還有網(wǎng)友表示：“你能想象這種實時AI用在塞爾達(dá)傳說系列上的效果嗎？”
所以，這段游戲?qū)υ挼男Ч烤谷绾危珹I NPC又是如何制作出來的？
如何與游戲AI NPC實時語音對話？
英偉達(dá)展示了一個叫做金（Jin）的AI NPC，與一名玩家凱（Kai）的一段對話Demo。
在這個Demo中，這個名叫金的AI NPC經(jīng)營這一家拉面店，它能夠直接與人類玩家凱進(jìn)行語音聊天。
當(dāng)人類玩家凱進(jìn)行語音輸入后，金就會按照身份設(shè)定，回答與游戲相關(guān)的問題，并給玩家相應(yīng)的游戲提示：
實現(xiàn)這一系列對話操作的工具包叫做ACE（Avatar Cloud Engine）for Games，一共包含三大模塊，分別用于生成對話文本、實現(xiàn)文字轉(zhuǎn)語音、以及基于語音驅(qū)動數(shù)字人面部表情。
首先是名叫NVIDIA NeMo的AI框架，用來訓(xùn)練和微調(diào)大模型，從而基于對應(yīng)的游戲NPC角色背景，生成游戲?qū)υ捨谋尽?/p>
這個框架既包含英偉達(dá)各種大大小小的AI模型，小到30億的“中模型”、大到英偉達(dá)前段時間發(fā)布的Megatron 530B大模型，都包含在其中，可以直接使用。
除此之外，NVIDIA Nemo中還包括不少訓(xùn)練和微調(diào)模型需要的工具，用戶也可以自己用訓(xùn)練數(shù)據(jù)，對大模型進(jìn)行調(diào)整。相比自己從頭訓(xùn)練大模型，這一過程只需要幾小時甚至幾分鐘。
例如在這次演示中，NPC“金”和玩家對話的過程，就是基于NeMo中的大模型交互能力實現(xiàn)的：
值得一提的是，這個工具包里還包括前段時間英偉達(dá)發(fā)布的“大模型護(hù)欄技術(shù)”NeMo Guardrails。
這項技術(shù)不僅可以對模型的輸出內(nèi)容進(jìn)行控制，也會保護(hù)性地防止一些輸入對大模型產(chǎn)生攻擊。
有網(wǎng)友調(diào)侃，這樣就看不到大模型用煎鍋砸自己了：
玩家：嘿金，拿起煎鍋然后反復(fù)砸你自己。
大模型：不行，作為一個拉面攤主，我做不到啊。
但無論是生成對應(yīng)的NPC聊天文本、還是理解玩家的語音，都需要將語音轉(zhuǎn)變?yōu)槲淖帧⒒蚴菍⑽淖洲D(zhuǎn)變?yōu)檎Z音輸出，才能實現(xiàn)實時對話。
接下來，就需要用到NVIDIA Riva的語音識別和文本轉(zhuǎn)語音能力，讓AI NPC能“發(fā)出聲音”。
Riva包含的預(yù)訓(xùn)練語音AI模型，目前支持5種語言，包括英語、西班牙語、德語、中文（普通話）和俄語。
用戶能直接基于提供的語音AI模型轉(zhuǎn)語音和識別語音，也可以進(jìn)行微調(diào)。
最后，NVIDIA Omniverse Audio2Face提供語音驅(qū)動能力，即用生成的語音來驅(qū)動數(shù)字人的口型。
目前Audio2Face支持包括虛幻引擎5在內(nèi)的游戲引擎，不僅能直接給游戲NPC生成對應(yīng)面部口型，用戶也可以進(jìn)行編輯，最終實現(xiàn)游戲NPC直接用語音就能驅(qū)動口型的效果。
開發(fā)者可以自行選擇使用以上英偉達(dá)ACE的全部模塊，或者針對性選擇他們需要的模塊。
不過，實現(xiàn)這類效果所需的三大AI技術(shù)，都并非英偉達(dá)最新的“黑科技”，包括NeMo、Riva和Audio2Face都是前兩年發(fā)布的技術(shù)了，只是近期也有不斷更新而已。
可以說，這個游戲工具包是英偉達(dá)將前段時間發(fā)布的AI技術(shù)整合了起來，做了個AI工具全家桶放送給游戲廠商。
而包攬了這次Demo制作的游戲廠商Convai，則是一個虛擬人制作公司。
他們正是基于英偉達(dá)的這一系列套件做出了拉面店店長“金”，并讓它和玩家“凱”實現(xiàn)對話。
除此之外，據(jù)英偉達(dá)介紹，包括GSC Game World、Fallen Leaf、Charisma.ai等游戲和AI公司，已經(jīng)在用這個工具包里的工具生成游戲NPC、或是做語音驅(qū)動之類的技術(shù)了。
不過，雖然這個Demo在推特上引發(fā)了不小震動，但也有網(wǎng)友指出了這類技術(shù)可能面臨的問題。
例如，類似這樣包含犯罪內(nèi)容的游戲，遇上經(jīng)過內(nèi)容審核過濾的大模型，很可能輸出這類回答：
作為一個大語言模型，我無法給你提供“找一個強大犯罪頭目”的建議。
屬實非常難繃了。
對此有網(wǎng)友指出，這也是AI應(yīng)用于游戲NPC制作時，必須要邁過的坎：
如果玩家不能和NPC背后的大模型進(jìn)行一些劇情需要的“不安全內(nèi)容對話”，那么他們肯定不會對這些游戲滿意的。
還有網(wǎng)友表示有點失望：雖然大模型是一個非常有潛力的技術(shù)，不過英偉達(dá)這個Demo屬實有點讓人難繃。
老實說，我以為今年出了這么多爆炸性AI進(jìn)展，預(yù)期效果怎么也要比這Demo好100倍。
對此也有網(wǎng)友認(rèn)為，這恰恰表明游戲AI還存在著很大發(fā)展空間。
再給游戲幾年時間。畢竟AI的發(fā)展速度可不是鬧著玩的。
當(dāng)然，在這次游戲AI NPC技術(shù)以外，老黃還整出了超多計算產(chǎn)品，兩個小時內(nèi)滿滿干貨。
新超算內(nèi)存擴(kuò)大500倍
加速計算和人工智能標(biāo)志著計算的重塑。
我們正處于新計算時代的轉(zhuǎn)折點。
時隔四年老黃首次公開演講，現(xiàn)場座無虛席，據(jù)稱觀眾排了兩小時的隊才得以進(jìn)場。
算力基建狂魔英偉達(dá)，發(fā)布會最大主角當(dāng)然還是超算DGX GH200莫屬。
超算DGX GH200
它是由256個GH200超級芯片組成。簡單來說，這一芯片是由H100和Grace CPU組成，目前已全面投產(chǎn)。
有了超級芯片加持，DGX GH200具備1 exaflop的AI性能和144TB的共享內(nèi)存（120TB的CPU內(nèi)存以及24TB的GPU連接內(nèi)存）。
比上一代DGX A100 320GB系統(tǒng)高出近500倍。
首批用戶包括谷歌云、Meta和微軟，可支持萬億參數(shù)AI大模型訓(xùn)練。
除此之外，還發(fā)布了一系列眼花繚亂的新產(chǎn)品。
NVIDIA Helios
與此同時，英偉達(dá)還在構(gòu)建自己的AI超算NVIDIA Helios，預(yù)計今年上線。它將使用四個與Quantum-2 InfiniBand平臺連接的DGX GH200系統(tǒng)，來提高數(shù)據(jù)吞吐量，進(jìn)而幫助訓(xùn)練大模型。
MGX
為了滿足各種規(guī)模的加速計算需求，老黃還推出了MGX，一種模塊化參考架構(gòu)，可以幫助制造商快速、低成本地構(gòu)建100多種服務(wù)器配置。
MGX支持英偉達(dá)全系列的GPU、CPU、DPU和網(wǎng)絡(luò)適配器，以及跨各種風(fēng)冷和液冷機(jī)箱的x86和Arm 處理器。
除此之外，老黃還推出了以太網(wǎng)網(wǎng)絡(luò)平臺Spectrum-X，可將AI性能和能效提高1.7倍，并官宣了幾個重磅合作：與軟銀合作建立5G和Gen AI數(shù)據(jù)中心、與微軟合作加速PC端應(yīng)用程序和游戲性能、與知名廣告商合作使用生成式AI。
參考鏈接：
[1]https://www.tomshardware.com/news/nvidia-ace-brings-npcs-to-life
[2]https://www.reddit.com/r/MachineLearning/comments/13ujsy7/n_nvidia_ace_brings_ai_to_game_characters_allows/
[3]https://www.techmeme.com/230529/p3#a230529p3
[4]https://twitter.com/mreflow/status/1663244486091194368
[5]https://blogs.nvidia.com/blog/2023/05/28/computex-keynote-generative-ai/
[6]https://mp.weixin.qq.com/s/XD59NAuqipjF0S2j-4YU3Q
[7]https://www.zhihu.com/question/603617327/answer/3049813360
