OpenAI顛覆導(dǎo)演！首批7個Sora超現(xiàn)實(shí)大片震驚好萊塢

作者：新智元 2024-03-26 15:42:00

Sora再次給全世界帶來億點(diǎn)點(diǎn)震撼！首批導(dǎo)演、藝術(shù)家們與Sora合作的視頻短片出爐了。談及初印象，他們盛贊Sora能把不可能的想法帶入現(xiàn)實(shí)，最驚艷的是還可以創(chuàng)造完全超現(xiàn)實(shí)的內(nèi)容。

Sora給好萊塢的震撼，就在剛剛變成了現(xiàn)實(shí)！

幾天前，「OpenAI正在向好萊塢推銷Sora」的消息才剛剛傳出。

而今天一早，首批拿到Sora授權(quán)的導(dǎo)演、藝術(shù)家們，就已經(jīng)公開自己創(chuàng)作的最新短片了。堪稱神速！

OpenAI為之配文——Sora初印象。

Hollywood，果然一夜之間變Sorawood。

OpenAI聯(lián)創(chuàng)Greg轉(zhuǎn)發(fā)了最經(jīng)典的一個勵志小短片——?dú)馇蛉恕?/span>

有網(wǎng)友稱，「Sora會把每個人都變成Steven Spielberg，它將永遠(yuǎn)顛覆好萊塢」！

還有人表示，「我的初步收獲是：（人類）創(chuàng)意方向是關(guān)鍵，而Sora的魔力在于將超現(xiàn)實(shí)帶入生活。我們是否正在進(jìn)入下一個新達(dá)達(dá)主義時代」？

Sora最新短片，究竟有多震撼？

我們來一一感受下。

害羞的孩子：「氣球人」雞湯短片

第一部是關(guān)于「氣球人」的勵志故事短片。

僅用1分21秒向人們傳遞了滿滿的正能量——「每個人都有那么一點(diǎn)兒獨(dú)特之處，讓他們與眾不同」。

鏡頭場景由小拉大，一位男子慢慢走向自行車，騎著車走在路上，直到視頻20秒的時，才看到男子的完整形象——「氣球人」。

接下來視頻中，講述了氣球人生活面對的一些挑戰(zhàn)。

比如，「有一次，女朋友非讓他去仙人掌店，給叔叔Jerry挑一份結(jié)婚禮物」。

正是「氣球人」的身份，讓他擁有了看世界不同視角的機(jī)會。

視頻后半部分，是氣球升空后，隨風(fēng)飄到世界各個地方去看、去聽、去感受。

整個短片看下來，完全是一碗雞湯，告訴我們「異」是上天賦予每個人的禮物，要積極面對生活。

值得一提的是，背后創(chuàng)作者來自一家多媒體制作公司（總部設(shè)在多倫多）的三人團(tuán)隊(duì)：Walter Woodman、Sidney Leeder和Patrick Cederberg。

他們分享道，「我們現(xiàn)在有能力擴(kuò)展我們曾經(jīng)認(rèn)為不可能實(shí)現(xiàn)的故事」。

導(dǎo)演Walter表示，「盡管Sora在生成看似真實(shí)的事物方面表現(xiàn)出色，但真正讓我們興奮的是它創(chuàng)造完全超現(xiàn)實(shí)事物的能力。這是抽象表現(xiàn)主義的新時代」。

「來自世界各地的人們，有故事急于傾訴的人們，終于有機(jī)會向世界展示他們的內(nèi)心世界了」。

金色唱片：從地球原材料，到人類生活的時間膠囊

下面是由導(dǎo)演Paul Trillo生成的短片。他也曾是Runway Gen-2放出之后，首批用戶。

整體采用了快鏡頭的方式，以金屬人的視角探索世界。

從海底，到現(xiàn)實(shí)世界商店、圖書館、金字塔、懸崖，再到接近混沌的世界，還配上了動感的音樂。

Paul Trillo是一位才華橫溢的多領(lǐng)域藝術(shù)家、作家及導(dǎo)演，他的作品曾受到《滾石》和《紐約客》等知名媒體的高度評價(jià)。

他已經(jīng)榮獲19次「Vimeo Staff Picks」獎項(xiàng)，這是對Vimeo平臺上最優(yōu)秀短片的一種認(rèn)可。

Paul表示，「與Sora合作，我第一次感覺到作為電影人的自我釋放。不再受時間、資金或他人許可的限制，我能夠自由地探索和嘗試，以大膽和創(chuàng)新的方式進(jìn)行創(chuàng)作」。

他的實(shí)驗(yàn)性視頻作品，正體現(xiàn)了這種創(chuàng)作理念。

只有你不再簡單復(fù)制舊的東西，而是創(chuàng)造新穎且不可能的想法時，Sora的能力才能得到最大發(fā)揮，讓我們有機(jī)會見證那些原本無法實(shí)現(xiàn)的創(chuàng)意。

就在剛剛，Paul又放出了自己與Sora合作的最新短片——「金色唱片」，也算是接上一個短片的續(xù)作。

這個紀(jì)錄片描述了，從地球的原材料到人類地球生活的時間膠囊。

Paul表示，制作過程是是把Sora生成的11個不同片段剪輯在一起。

網(wǎng)友評論道，「關(guān)于控制/保留率，你有什么可以分享的嗎」？

Paul表示，「現(xiàn)在還不能說太多，但我可以說，它的功能與眾不同，我盡了最大努力去打破它的美學(xué)風(fēng)格」。

「異種生物」紀(jì)錄片：飛豬來了！

再來看看，這個堪稱史詩級「動物紀(jì)錄預(yù)告片」。

各種你沒有見過的異種生物，Sora僅憑想象，都造出來了。

貓有著魚一樣的尾巴、長頸鹿有著鶴一樣的下半身、鯊魚突然多出了與章魚一樣的觸角、蜜蜂有著馬頭。

還有二師兄也變成了「飛豬」。

視頻中，簡要介紹了從第一集，到第八集，分別將要深入帶你了解的異種動物。

背后的創(chuàng)作者Don Allen III是一位跨領(lǐng)域的藝術(shù)家、演說家和顧問，曾在夢工廠動畫（DreamWorks Animation）開啟了他的職業(yè)路程。

他曾與眾多科技和娛樂巨頭合作，探索混合現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和AI的應(yīng)用領(lǐng)域。

「我一直在創(chuàng)造增強(qiáng)現(xiàn)實(shí)中的異種生物，這些在我腦海中構(gòu)思的有趣組合，現(xiàn)在可以更輕松地原型化，然后再將這些3D角色完整地構(gòu)建并置于空間計(jì)算機(jī)中」。

Don提到，Sora非同尋常是其最大的優(yōu)勢，它不受常規(guī)物理規(guī)律或傳統(tǒng)思維方式的限制。

他表示，通過與Sora的合作，他的創(chuàng)作重心從「技術(shù)難題轉(zhuǎn)向了純粹的創(chuàng)意……開啟了即時可視化和快速原型設(shè)計(jì)的新世界」。

同時，Don也表示，「這讓我能夠更專注地投入時間和精力在更重要的地方……以及我期望我的角色所傳達(dá)的情感深度」。

夢幻美人魚

大海中3位「美人魚」的短片，簡直讓人驚嚇下巴。

他們身上透明，斑斕的鱗片，在太陽照射下，給人一種如夢如幻般的感覺。

Josephine Miller是倫敦Oraar Studio的聯(lián)合創(chuàng)始人及創(chuàng)意總監(jiān)。該工作室專注于3D視覺、增強(qiáng)現(xiàn)實(shí)和數(shù)字時尚的設(shè)計(jì)。

「Sora讓我能夠?qū)崿F(xiàn)多年來一直夢想，但技術(shù)上無法實(shí)現(xiàn)的創(chuàng)意」。

「這種快速將想法以高品質(zhì)進(jìn)行創(chuàng)意概念化的能力，不僅對我的創(chuàng)作過程構(gòu)成了挑戰(zhàn)，也促使我在講故事的藝術(shù)上不斷改進(jìn)。Sora讓我能夠在更少的技術(shù)限制下，將想象力轉(zhuǎn)化為現(xiàn)實(shí)」。

用AI探尋人性

藝術(shù)家Alexander Reben在過去十年，深入到了一項(xiàng)獨(dú)特的探索中：通過AI挖掘人性中的幽默與荒謬。

他還手動將AI生成的圖像轉(zhuǎn)換成三維模型，并將這些模型具象化于現(xiàn)實(shí)世界中，創(chuàng)造出一系列雕塑作品。

而下面的視頻中，通過與Sora的合作，Alexander實(shí)現(xiàn)了各種3D立體雕塑的藝術(shù)生成。

他表示，「我嘗試使用Sora作為開拓3D雕塑的新起點(diǎn)。我開始對攝影測量學(xué)（一種通過照片測量物體的技術(shù)）及其在雕塑中的應(yīng)用前景深感興趣。特別是，將視頻轉(zhuǎn)化為3D模型的可能性激發(fā)了我的好奇心，這不僅僅是技術(shù)上的突破，更暗示著將AI的應(yīng)用推向一個全新的維度」。

人類寄給外星人的地球名片

下面這則視頻講述的是人類與外星人的第三類接觸。

開篇就是一個鉆石在旋轉(zhuǎn)。

隨后出現(xiàn)的這個畫面，概念與「旅行者」號寄給外星人的地球名片非常類似。

它是由身兼音樂家、研究員、創(chuàng)意活動家及多學(xué)科藝術(shù)家多重身份的August Kamp制作。

August解釋道，「Sora對我來說是一個歷史性的轉(zhuǎn)折點(diǎn)。作為一個藝術(shù)家，我的視野一直受到想象力和實(shí)際條件之間矛盾的限制，得以如此直觀地打造和改進(jìn)電影級視覺效果，我感覺自己踏入了藝術(shù)的全新領(lǐng)域...我真的非常期待，隨著這些工具的發(fā)展，將會出現(xiàn)哪些新的故事講述方式」。

多元素組合

再來看看另一家創(chuàng)意機(jī)構(gòu)Native Foreign制作的短片。

這個視頻是由修鐘人，上個世紀(jì)大城市街景，酒吧喝酒男子對女子一見鐘情，海洋上浮起一輛汽車等多個元素組成的內(nèi)容。

總部位于加州洛杉磯Native Foreign，是一家獲得艾美獎提名的創(chuàng)意機(jī)構(gòu)。

它因擅長品牌故事講述、動效和標(biāo)題的設(shè)計(jì)，以及先進(jìn)的生成式AI工作流程而聞名。

聯(lián)合創(chuàng)始人Nik Kleverov正利用Sora將「概念可視化」，并為品牌合作伙伴快速迭代創(chuàng)意。

他認(rèn)為，創(chuàng)意的敘述不再受預(yù)算的嚴(yán)格限制。

「我是那種喜歡用動態(tài)思維來思考的創(chuàng)意工作者，因此在使用Sora時，我深感任何創(chuàng)意都能變成現(xiàn)實(shí)」。

Sora模型成本猜測

雖然以上這些測試效果的確驚艷，但所要花費(fèi)的成本，卻是難以想象的高昂。

最近的一篇來自Factoral Funds的報(bào)道中，估算了Sora模型在訓(xùn)練和推理時的成本。

文章highlight中介紹：

- Sora訓(xùn)練需要大量的計(jì)算資源，預(yù)計(jì)需要4211——10528個H100 GPU運(yùn)行一個月

- 推理成本：一個H100 GPU大約，每小時能生成5分鐘的視頻。

訓(xùn)練計(jì)算估算：從DiT到Sora的推算

根據(jù)OpenAI的報(bào)告，雖然可以獲取Sora的詳細(xì)信息有限，但可以基于DiT（Diffusion Transformers）論文的數(shù)據(jù)，將Sora看作是DiT在視頻生成方面的擴(kuò)展。

DiT-XL模型有675M參數(shù)，使用了大約1021 FLOPS的總計(jì)算量，相當(dāng)于大約0.4 Nvidia H100運(yùn)行一個月（或12天使用一臺H100）。

- 計(jì)算乘數(shù)：假設(shè)視頻以24fps編碼，1分鐘的視頻包含1440幀。考慮到Sora的空間和時間壓縮，如果按DiT論文的8倍壓縮率，就可以得到180幀在潛在空間中的表示。

因此，相較于DiT處理圖像，處理視頻的計(jì)算量至少增加了180倍。

- 模型大小和數(shù)據(jù)集：估計(jì)Sora的模型參數(shù)數(shù)量遠(yuǎn)超675M。如果假設(shè)一個20B參數(shù)的模型，相對于DiT，計(jì)算需求增加了30倍。此外，Sora訓(xùn)練的數(shù)據(jù)集比DiT大很多倍，增加了數(shù)據(jù)集規(guī)模的乘數(shù)4-10倍。

綜合考慮，因此得出Sora訓(xùn)練所需的計(jì)算量。

推理與訓(xùn)練計(jì)算

推理與訓(xùn)練計(jì)算比較：訓(xùn)練計(jì)算是一次性的大量計(jì)算，而推理計(jì)算雖然較小，但隨著模型的廣泛應(yīng)用，會被頻繁調(diào)用。