就在剛剛，昆侖萬維正式發布了一款全新自研的Matrix-Zero世界模型。

Matrix-Zero世界模型包含兩款子模型：昆侖萬維自研的3D場景生成大模型與昆侖萬維自研的可交互視頻生成大模型。包括兩部分功能：

1. 支持將用戶輸入的圖片轉化為可自由探索的真實合理的3D場景；
2. 支持根據用戶輸入實時生成互動視頻效果。

至此，昆侖萬維正式成為中國第一家同時推出3D場景生成、可交互視頻生成模型的探索空間智能的企業。

大模型賽道卷了兩年，誰都在觀望，下一個破局的方向在何方。

李飛飛躬身入局，僅3個月就估值10億的World Labs令業內恍然大悟：AI教母瞄準的，就是能進行推理的空間智能！

2024年12月3日，World Labs的首個成果——一張單個圖像即可生成3D圖像的世界模型，立刻技驚四座。

緊接著，谷歌DeepMind也在2024年12月5日發布了基礎世界模型Genie 2，單圖就能生成1分鐘的游戲世界。

各家的重磅布局說明，做3D場景生成、視頻生成模型、空間智能的必要性，已經迫在眉睫。

誠如英偉達高級計算機科學家Jim Fan所言，「空間智能，是計算機視覺和實體智能體的下一個前沿」。

空間智能，幾大痛點亟待突破

不過仔細看就會發現，目前市面上相關的技術路線，尚存一些痛點未被解決。

比如市面上的一些2D圖像或視頻生成工具，仍然受制于像素空間和3D空間的差異，生成結果往往不一致、物理不合理。

由于2D圖像或視頻僅限于二維，創建復雜的動作和攝像機角度就極有挑戰性，不適合動作場景

而TripoAI、Meshy等3D工具，則更關注單個物體的生成，因而無法生成完整、合理的3D場景。

即使已經走在前面的WorldLabs，也存在不少限制。比如在探索空間上的不足，就會極大地影響游戲制作和視頻渲染。

有沒有一種技術路線，能將上述痛點全部解決？

巧了，看完Matrix-Zero，你會收獲大大的驚喜！

360度無死角生成，還可交互

這次昆侖萬維推出的Matrix-Zero，主要包括3D場景生成和可交互視頻生成兩部分。

3D場景生成

首先，它支持將用戶輸入的圖片，轉化為可自由探索的真實合理的3D場景，同時極大避免了一些視頻模型或自回歸方法中極易出現的前后不一致現象。

那么如何從3D場景渲染出視頻的呢？正如下圖所示，在3D場景中放置一個攝像機（橘紅色線框所示），并指定其運動控制。

3D場景中的相機運動軌跡

每一個時刻都可以根據相機位置和朝向將3D場景渲染為圖片，將這些圖片拼接即可得到視頻。

最后，我們就能夠得到3D場景渲染出的視頻。

渲染視頻效果

這樣，不僅視頻內容非常符合用戶意圖，還能拓展在虛擬環境、交互式應用和沉浸式體驗中的應用場景，可以用在3D游戲場景中快速可控建模，以及在具身智能中快速搭建模擬場景。

另外，Matrix-Zero可以支持在場景中進行任意方向長距離、大范圍的探索，這就為電影、短劇場景鏡頭生成，提供更多可能。

在這些場景中，你可以先環視再前進、前進后右轉、360度俯視、180度回頭等等，各種操作只有你想不到，沒有它做不到。

而且，無論你輸入的是卡通或寫實風格的圖片，都能生成合理的3D場景。

Matrix-Zero還支持風格遷移，我們可以把一張寫實圖片轉化為卡通風格，或者干脆把房屋變為紅瓦白墻。

最后，Matrix-Zero生成3D的場景中的動態物體，也絕對令人驚喜。

無論是光照、海浪、云霧、水流，動態都極度符合真實世界的物理規律，因而可以由之構建真正的世界模型。

為何Matrix-Zero的3D場景生成能有如此驚艷的效果？

這都要歸功于昆侖萬維自研的3D場景生成大模型。

它包含了兩個核心模塊，場景布局生成模塊和紋理生成模塊。

前者能借助可微渲染和擴散模型技術，創造出和輸入圖片一致的3D場景布局；后者則是在圖片生成模型和視頻生成模型基礎上訓練的，能實現符合場景布局的紋理材質生成。

而用戶在場景中運動時，3D場景生成大模型就會不斷對場景缺失區域進行幾何和紋理的補全，因此用戶無論在任何位置、任何角度，都能看到合理、一致的場景。

可交互視頻生成

AI視頻模型不斷推陳出新，但真正能讓創作者「身臨其境」地參與生成過程的AI，卻是鳳毛麟角。

Matrix-Zero，正是打破這一僵局的革命性產品。

無論是在虛擬環境、交互應用，還是沉浸式場景中，它都能以驚人的效率輸出高質量視頻。

更重要的是，生成的視頻始終保持流暢連貫，符合情境邏輯。

在案例中，它展現出令人驚嘆的自由度，以及更加真實的3D場景生成。

當你在鍵盤上點擊方向鍵，或是移動鼠標，AI會立即響應你的指令，生成與你意圖完美契合的畫面。

好比這張街景圖生成的視頻畫面，你可以前后左右移動，隨心所欲地調整視角，就像在真實世界中探索一樣。

還有這張科幻風圖片的交互，瞬間給人一種錯覺：這不就是Martix中的世界么。

團隊的方法建立在自研的生成式視頻模型之上，依托大規模開放數據的預訓練模型，同時結合了自主研發的用戶輸入交互模型。

最終，實現了一種以用戶指令輸入為核心驅動的空間智能視頻生成方案。

這就保證了在開放視頻領域生成能力的同時，進一步增強了對視頻內容中視角移動的精確控制，從而更符合用戶的交互需求和預期。

具體來說，Matrix-Zero包括基礎視頻生成模型和用戶輸入交互模型兩個核心部分。

Matrix-Zero 主要由兩個核心部分組成：一個是視頻生成模型，另一個是用戶交互模型。

前者是整個系統的核心，相當于一位「元帥」。而后者，則是一位「軍師」。

元帥負責根據初始視頻幀生成連貫的視頻內容，軍師則負責解析用戶輸入信息，轉化為視頻調整信號。這樣，Matrix-Zero就既能生成清晰、穩定、有邏輯的視頻，還能準確響應，讓交互更直觀流暢。

具體來說，視頻生成模型包含以下關鍵技術：

• 通過基于Transformer架構的擴散模型，增強視頻序列的時序依賴性和幀間連貫性，有效避免畫面跳躍問題。
• 通過VAE進行數據降維，在提升計算效率的同時減少信息冗余。
• 通過時間步長優化策略保證生成視頻的物理合理性和時序穩定性，確保畫面流暢自然。

而用戶交互模型則包含四個核心部分：

1. 「離散運動控制模塊」負責處理基本運動指令如前進、跳躍等；
2. 「連續視角控制模塊」用于實時處理視角變化等連續控制信號；
3. 「3D場景位置追蹤模塊」通過空間定位技術確保視角轉換的穩定性；
4. 「滑動窗口機制」利用歷史輸入預測用戶操作，優化控制響應。

總之，以上特性讓Matrix-Zero真正成為一款足夠實用性的產品，在電影、短劇、游戲、具身智能等領域有廣泛的應用空間。

游戲開發者和影視劇從業者等相關人員，可以用它實現明顯的降本增效。

比如，游戲開發者可以用它輕松實現3D游戲場景搭建。

《黑神話：悟空》中的場景令人心潮澎湃

影視劇從業者，則可以輕松生成電影/短劇中的鏡頭。為了一個鏡頭動輒燒上百萬甚至上千萬美元經費的情況，從此可以徹底告別。

《阿凡達：水之道》是史上經費最高的電影之一，整部電影的預算為4.6億美元左右，但單個VFX的成本可能就達到每秒數百萬美元

由此顯露的產品領先性也體現出，昆侖萬維在科研、產品、應用上具備足夠的前瞻性，已經形成了閉環的產業鏈。

空間智能，AI下一個里程碑

何謂空間智能？

在「AI教母」李飛飛看來，空間智能不僅僅是讓AI看見世界，還要讓AI理解三維世界，并具備與之互動的能力。

ImageNet所代表，只是對「智能」一半的理解，另一半還存在于物理世界中。

回顧AI發展歷程，我們見證了其從文本到2D圖像、視頻的跨越。

以往的一些經驗也告訴我們一個深刻的道理：高維度的理解和生成，絕非低維度模型所能企及。

不論是LLM還是多模態語言模型（MLLM），其底層架構仍局限于一維的表征。

這種一維表示在處理語言方面得心應手，但當處理圖像、視頻等其他模態數據時，本質上不過是將多維信息「壓縮」進一維序列中，就不會可避免地造成信息損失。

NeurIPS 2024上，李飛飛提到最領先的多模態模型在HourVideo基準上依舊與人類有很大差距

就像文字難以完整描繪出圖像的細節，2D模型在處理3D世界時也面臨著嚴峻的挑戰。

舉個栗子，當前AI生成的視頻中，在涉及物體/人物大幅度移動變化的情景下，往往難以保持一致性。

這恰恰暴露出這些低維度的模型，對3D世界理解的局限性。

當然，空間智能也絕不止于簡單的3D生成，如果僅依靠維度scaling是遠遠不夠的。

我們還需要做的是，在大模型訓練過程中，還需要將3D世界的幾何和物理規則系統植入，從而讓AI擁有對這個世界的推理、理解、生成能力。

空間智能這一愿景，在2024年底已見雛形。

除了李飛飛World Labs、谷歌Genie 2，在國內，一些團隊也做了類似的研究，比如中科院等團隊的SceneX、智源研究院的See3D等等。

與他們不同的是，昆侖萬維走正出自己獨一份的空間智能路線。

從生成的視頻中不難看出，Matrix-Zero自由探索的范圍任意大，任意廣。而且，可以直接交互輸出視頻，在穩定一致性方面做到業界領先。

那么，能做到中國第一家自研，第一家發布空間智能大模型的上市公司，具備了怎樣的優勢？

全矩陣布局，All in AGI

2020年，GPT-3橫空出世后，昆侖萬維做出了一個重要的決定——全面布局大模型。

兩年后，AIGC全系列算法與模型「昆侖天工」首次亮相，其能力覆蓋了圖像、音樂、文本等多模態內容的生成能力。

2023年，自研雙千億級「天工1.0」大模型推出，正式奠定了國產大模型崛起之路。

多模態大模型Skywork-MM在MME基準中，1.0拿下了綜合排名第一的成績。他們還開源了百億級大語言模型天工Skywork-13。

同年，基于「天工」大模型，這家公司打造了一系列顛覆性AI產品。

• 8月，國內首款AI搜索——天工AI搜索誕生
• 12月，領先的AI Agent開發平臺天工SkyAgents發布

到了2024年2月，基座大模型迎來了最大升級，采用MoE架構「天工2.0」在處理復雜任務更強、響應速度更快、訓練推理效率更高。

緊接著4月，「天工3.0」震撼發布，采用4000億參數MoE架構，性能較上一代飛升，數學代碼飆升超30%。

與此同時，AI音樂生成大模型「天工SkyMusic」開啟公測，向情感AGI又邁進一步。

8月，集成視頻大模型與3D大模型的AI短劇平臺SkyReels發布。

今年1月，天工大模型4.0 o1版/4o版正式上線天工網頁端和APP，免費無限用，性能直接對標OpenAI。

截至目前，昆侖萬維已自研出「五大模型」體系：文本大模型、多模態大模型、3D大模型、視頻大模型和音樂大模型。

與此同時，在2024年AIGC應用用戶規模TOP榜中，昆侖萬維旗下天工AI強勢入圍。

這種全方位的技術布局，為其在AI領域持續創新提供了堅實的基礎。

2023年，昆侖萬維曾立下豪言壯志：All in AGI和AIGC，并將其作為未來十年的戰略方向。

五大模型體系，正在為這個終極目標不斷鋪路。

從多模態到空間智能進階之路

從行業發展的角度來看，多模態大模型正經歷這一場深刻的變革。

多模態技術已經從早期的簡單圖文理解，逐步演進至復雜的跨模態推理和生成。

在其未來發展中，我們可以預見在多模態領域幾個關鍵的突破方向。

首先是多模態融合進一步深化，未來的模型將不再滿足于簡單多模態并列，而是要實現真正模態間的深度理解和轉換。

比如，模型不僅要「看懂」一段視頻，還要能準確理解視頻中運動規律，并將這種理解應用到其他場景中。

其次，新一代模型架構需要能夠同時整合空間、時間、物理等多維度信息，這種整合不是簡單的疊加，而是要在更深層次上實現知識互通和遷移。

而空間智能的到來，將推動模型在多個維度上的升級同時展開。

未來，空間智能模型的落地場景將更加豐富多樣。

在教育領域，它可以創造沉浸式學習體驗，讓抽象的知識變得直觀可感；在工業領域，它能更精準控制機器人和自動化生產；在創意領域，它甚至可以革新內容創作的方式，帶來前所未有的視覺體驗。

AI寫詩十四行詩很有趣，用AI輔助心臟手術則是顛覆性的變革

從更宏觀角度來看，空間智能代表了AI向著更高維度認知能力進化的方向。

在這場AI進化的馬拉松中，昆侖萬維展現出了罕見的戰略定力和技術魄力。據悉，Matrix-Zero世界模型將于4月份上線。

從ALL in AGI的宏大愿景，到空間智能的前瞻布局，這家公司正用實際行動詮釋著技術創新的深層內涵。