OpenAI 再不發(fā)布 Sora，就晚了原創(chuàng)

發(fā)布于 2024-6-20 13:44

瀏覽

0收藏

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

變天了！還記得OpenAI剛推出Sora時(shí)給人的驚艷感，但在文生視頻領(lǐng)域，Sora想一家獨(dú)大也沒(méi)有那么簡(jiǎn)單。如今，越來(lái)越多表現(xiàn)不俗的替代方案已經(jīng)出現(xiàn)。

繼Luma AI的Dream Machine首次亮相之后，Runway ML最近推出的Gen-3 Alpha也令人印象深刻。與此同時(shí)，快手推出了Kling（可靈），這一模型能夠以每秒30幀的速度生成1080p高清分辨率的視頻。

OpenAI 再不發(fā)布 Sora，就晚了-AI.x社區(qū) 圖片

Gen-3 Alpha經(jīng)過(guò)視頻和圖像的訓(xùn)練，將為Runway的文字轉(zhuǎn)視頻、圖像轉(zhuǎn)視頻及文字轉(zhuǎn)圖像工具提供支持。它還將增強(qiáng)現(xiàn)有的控制模式，如運(yùn)動(dòng)畫(huà)筆、高級(jí)攝像機(jī)控制和導(dǎo)演模式，并支持即將推出的工具，以便更精確地控制結(jié)構(gòu)、風(fēng)格和動(dòng)態(tài)。

正如OpenAI與好萊塢的合作一樣，Runway也與頂級(jí)娛樂(lè)和媒體公司合作，開(kāi)發(fā)Gen-3 Alpha的定制版本。這種Gen-3模型的定制化使得對(duì)風(fēng)格和角色一致性的控制更加靈活，可以滿足特定的藝術(shù)和敘事需求。

與OpenAI不同的是，Runway已經(jīng)宣布Gen-3 Alpha很快將向所有人開(kāi)放。

“Gen-3 Alpha僅用四個(gè)月便迅速逼近Sora的水平，這意味著Omni也可能在9月前被迎頭趕上。Anthropic甚至可能在GPT-5發(fā)布之前就推出他們的自主AI系統(tǒng)。OpenAI面臨著要么加快其戰(zhàn)略步伐，要么接受退居第二的現(xiàn)實(shí)選擇。”X平臺(tái)的一位用戶寫(xiě)道。

1.Sora明顯滯后

Sora的一大劣勢(shì)在于，目前它還無(wú)法生成具有持續(xù)表情和角色特征的逼真人像。

例如，在Shy Heads使用Sora制作的短片《氣球頭》中，為了克服Sora的局限性，他們將人物的臉替換成了氣球。該短片的創(chuàng)作者Walter Woodman提到，他們使用Premiere和After Effects進(jìn)行了影片編輯。

然而，Gen-3 Alpha擅長(zhǎng)生成表現(xiàn)力豐富的人類(lèi)角色，能夠展示廣泛的動(dòng)作、手勢(shì)和情感。

正如下面這個(gè)示例。提示詞是：一位原本憂郁的中年禿頂男子，當(dāng)一頂卷曲的假發(fā)和墨鏡突然落在他頭上時(shí)，變得開(kāi)心起來(lái)。（Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.）

OpenAI 再不發(fā)布 Sora，就晚了-AI.x社區(qū)

值得注意的是，Adobe最近宣布正在探索與領(lǐng)先的AI供應(yīng)商建立合作，包括OpenAI的Sora、RunwayML和Pika等。

此外，Gen-3 Alpha從設(shè)計(jì)之初就瞄準(zhǔn)創(chuàng)意應(yīng)用，這使得它能夠理解并生成多種風(fēng)格和藝術(shù)指令。

除了Gen-3 Alpha之外，Luma AI聲稱(chēng)其Dream Machine與Sora不同，能夠理解世界物理原理及現(xiàn)實(shí)世界中的事物運(yùn)作方式。另一個(gè)有趣的特點(diǎn)是，它能將現(xiàn)有圖像擴(kuò)展成視頻。

“哇，來(lái)自@LumaLabsAI的新模型，將圖像延伸成視頻，真是非同凡響。我直覺(jué)上認(rèn)為這很快就會(huì)成為可能，但親眼見(jiàn)到并思考其未來(lái)迭代的潛力仍是另一回事。”前OpenAI研究員，大神Andrej Karpathy說(shuō)道。

OpenAI 再不發(fā)布 Sora，就晚了-AI.x社區(qū)

梗圖被續(xù)寫(xiě)，逐漸變成視頻。上述示例：災(zāi)難女孩（Disaster Girl）

另一個(gè)關(guān)鍵區(qū)別在于其視頻的超逼真質(zhì)量。Luma所采用的人工智能算法會(huì)仔細(xì)分析并增強(qiáng)每個(gè)細(xì)節(jié)，從紋理到光照，確保最終輸出效果幾乎與現(xiàn)實(shí)世界的鏡頭難以區(qū)分。不過(guò)，Dream Machine也存在一些限制，例如形變、在視頻中插入文字以及相機(jī)運(yùn)動(dòng)方面的處理。

另一方面，中國(guó)的可靈模型能夠生成長(zhǎng)達(dá)兩分鐘、分辨率為1080p、每秒30幀的視頻。該模型以其逼真的輸出效果和對(duì)現(xiàn)實(shí)世界物理精確模擬而著稱(chēng)，尤其擅長(zhǎng)于3D人臉和身體重建，使得生成的內(nèi)容更加栩栩如生、富有表現(xiàn)力。

2.OpenAI 在GPU方面具有優(yōu)勢(shì)

Luma AI 成功的一個(gè)重要因素是AWS，它為公司提供了急需的GPU資源。

AWS的數(shù)據(jù)和機(jī)器學(xué)習(xí)服務(wù)副總裁Swami Sivasubramanian表示：“很高興看到AWS H100訓(xùn)練基礎(chǔ)設(shè)施如何幫助Luma AI團(tuán)隊(duì)減少基礎(chǔ)模型的訓(xùn)練時(shí)間，并支持Dream Machine的發(fā)布。”

然而，在公開(kāi)上線后不久，網(wǎng)站就因巨大的訪問(wèn)需求而難以應(yīng)對(duì)。在這方面，OpenAI顯示出其優(yōu)勢(shì)。

作為ChatGPT的開(kāi)發(fā)者，OpenAI能夠利用微軟Azure，獲得最新的NVIDIA GPU資源。在微軟Build大會(huì)上，CEO薩提亞·納德拉宣布，他們將成為首批使用NVIDIA最先進(jìn)的Blackwell GPU的云服務(wù)提供商之一。

OpenAI最近還與甲骨文（Oracle）建立了合作伙伴關(guān)系，以獲取更多的計(jì)算能力。

3.OpenAI 是否會(huì)真正推出產(chǎn)品？

與Luma AI相關(guān)的還有另一個(gè)有趣的故事。在Google I/O大會(huì)上，谷歌介紹了其視頻生成模型Veo。然而，出于安全考慮，谷歌尚未發(fā)布該模型。

現(xiàn)為L(zhǎng)uma AI研究科學(xué)家的Dan Kondratyuk此前曾在谷歌工作，他稱(chēng)自己離開(kāi)谷歌是因?yàn)楣緵](méi)有推出任何產(chǎn)品。

他在X平臺(tái)上發(fā)帖說(shuō)：“我離開(kāi)谷歌加入了Luma。我曾是早期參與開(kāi)發(fā)Veo團(tuán)隊(duì)的一員，但我知道它很長(zhǎng)一段時(shí)間內(nèi)都不會(huì)面向大眾發(fā)布，就像Sora一樣。除非有像Luma這樣的公司迫使他們出手，至少我希望如此（給我權(quán)限吧）”。

與此同時(shí)，OpenAI采取了一種策略，即宣布產(chǎn)品來(lái)?yè)寠Z谷歌的風(fēng)頭，但實(shí)際上并未交付。例如，當(dāng)谷歌推出Gemini 1.5時(shí)，OpenAI在同一天宣布了Sora。在2024年Google I/O大會(huì)前一天，OpenAI宣布了GPT-4o。然而，其語(yǔ)音功能至今仍不可用。

OpenAI 再不發(fā)布 Sora，就晚了-AI.x社區(qū) 圖片