今年2月，美國人工智能巨頭企業(yè)OpenAI再推行業(yè)爆款Sora，將之前ChatGPT以圖文為主的生成式內容全面擴大到視頻領域，引發(fā)了全球熱議，這也是OpenAI首次進軍人工智能視頻生成領域。

據公司介紹，Sora使用Transformer架構，可根據文本指令創(chuàng)建近似現實且富有想象力的場景，生成多種風格、不同畫幅、最長為一分鐘的高清視頻。該模型還能夠根據靜態(tài)圖像生成視頻，或對現有視頻進行擴展或填充缺失的幀。

根據官方釋出的樣例，由Sora生成的視頻近乎突破了人類肉眼識別真假事物的極限，除去一些可通過后期算法優(yōu)化的邏輯性錯誤，在場景的還原程度上已經高度接近現實中的實拍畫面。

這無疑引發(fā)影視內容創(chuàng)作行業(yè)的震蕩，僅問世兩天，就讓主營圖像處理、視頻制作軟件的Adobe股價應聲下跌超過7%，不少影視從業(yè)人員開始擔心日后飯碗不保。但如同ChatGPT一樣，人們在擔心被AI取代的同時，其“雙刃劍”效應在迅速放大并引起了各方重視，無疑，在安全風險方面，Sora又是一針大劑量催化劑。

Sora 根據文本提示生成了一段以這位女性為主角的視頻

Sora加劇“深度偽造”憂慮

嚴格來說，深度偽造并非AI時代的專屬詞匯，從早年間看似拙劣的換臉視頻開始，深度偽造作為一項快速發(fā)展的技術，也在為人類敲響警鐘。當AI時代來臨，看似有意或無意的深度偽造視頻將為人類認知帶來巨大沖擊。

“這一定是AI做的”

當你對一段真實拍攝的視頻內容提出疑問，你可以不經思考地“甩鍋”給AI：“這一定是用Sora生成的”；而一段確實是用AI生成的某政客演講視頻，你卻為之鼓舞并投出選票。這樣的場景，正是基于深度偽造對人類認知造成的紊亂。加利福尼亞大學伯克利分校信息學院副院長法里德甚至表示：“當新聞、圖像、音頻、視頻——任何事情都可以偽造時，那么在那個世界里，就沒有什么是真實的。”

這并非杞人憂天的說法，雖然Sora生成的缺陷視頻仍被一些媒體放大當作“樂子“，但不可否認，Sora的出現讓人們意識到AI深度偽造視頻進步飛快，已經接近了真假難辨的程度。這種顧名思義的認知正在網絡媒介中潛移默化，擾亂大眾對視頻內容真實性的判斷。前陣子在海外社交圈瘋傳的威爾·史密斯狂吃意大利面的視頻無疑就是這一現象的生動詮釋，畫面中所謂時隔1年的AI生成的史密斯在真實程度上已經天差地別，眾多網友為此感嘆AI的逼真，并對此深信不疑，但事實卻是“高度逼真”的史密斯就是由本人親自出鏡拍攝。

威爾·史密斯吃意大利面的AI視頻與實際的真人視頻

如果說之前ChatGPT編織的虛假文本無法眼見為實，那么，當Sora加入唱起雙簧，這種對大眾認知的紊亂所產生的負面效果不言而喻，能夠被濫用于造假、欺騙，甚至顛覆人們對現實的認知，產生的信任危機將損害社會的各行各業(yè)。

濫用導致的安全危機

近年來，利用深度偽造的網絡犯罪活動時有發(fā)生，就在Sora誕生前夕，中國香港就發(fā)生了當地迄今為止規(guī)模最大的一起利用AI深度偽造實施的詐騙活動。

據香港媒體介紹，某跨國公司香港分行職員在1月中收到該公司英國總部首席財務官的信息，聲稱要進行機密交易，并分別邀請該公司數名財務職員進行多人的視頻會議。由于對方各人在會議內均顯示了與現實相同的樣貌，該職員信以為真，前后轉賬15次，共計將2億港元轉到了5個本地銀行賬戶中，直到5天之后，該職員向總部過問此事時才發(fā)現被騙。

在本案例中，詐騙者通過公司的YouTube視頻和從其他公開渠道獲取的媒體資料，成功地仿造了英國公司高層管理人員的形象和聲音，再利用深度偽造技術制作偽冒視頻，造成多人參與視頻會議的效果。目前，香港警方表示，整個案件還在進一步調查之中，還沒有逮捕任何嫌疑人。

現在，Sora能實現用更少的人臉數據構造高逼真的特定人臉模型，如果后續(xù)正式開放使用，包括AI換臉在內的深度偽造技術門檻必將顯著降低，犯罪分子可以更輕松地盜用、冒充他人身份。隨著2024年選舉大年的到來，世界多國政府已經開始擔憂深度偽造對政治選舉帶來的惡劣影響。據統(tǒng)計，今年全世界至少有65個國家/地區(qū)將會先后舉行選舉，預計將影響全球超過40億人。在此背景下，AI深度偽造可能被濫用以制造大量虛假音視頻內容，從而試圖操縱公眾輿論和選舉結果。

無疑，在深度偽造沖擊大眾認知、惡意虛假信息快速泛濫的趨勢下，Sora的誕生正受到各方更加嚴格的審視，在驚嘆其實力的喧嘩后，Sora的達摩克利斯之劍已經高懸在每一位普羅大眾頭上。

Sora面臨的安全挑戰(zhàn)

和自家兄弟產品ChatGPT類似，Sora同樣會抓取互聯網中的視頻內容進行訓練、優(yōu)化，如此一來，數據安全問題將成為Sora在網絡安全方面所面臨的重大挑戰(zhàn)。有媒體報道提及，盡管OpenAI在發(fā)布時聲稱所有訓練素材均源自公開渠道或經過合法授權，但并未透露具體涉及多少視頻樣本及其確切來源。

IDC分析師也指出，多模態(tài)大模型將讀取更多的圖像、視頻類數據，這些圖像視頻數據是否合規(guī)是否安全，需要得到保障；另一方面，生成的視頻與真實世界之間的差異，是否會影響到人身安全、社會穩(wěn)定、企業(yè)安全等，也需要注意。

正如前文所述，在涉及虛假信息的深度偽造方面，雖然OpenAI表示在正式開放Sora使用前會采取幾個重要的安全措施，防止其生成極端暴力、色情、仇恨以及有害的涉政內容，OpenAI還將進行專項“紅隊”攻擊測試，招募錯誤信息、仇恨內容和偏見等領域的專家對其進行對抗性測試的方式來評估Sora被濫用的可能性。但OpenAI也承認，他們無法預測人們使用Sora的所有有益方式，也無法預測人們?yōu)E用技術的所有方式。

也有網絡技術人員建議，以隱形水印的形式在視頻圖像中嵌入不可見的水印保護信息，以快速識別AI合成內容并進行溯源。但這種做法在應對將視頻重新編碼、模糊，或者經過多重轉載損失一定畫質，以及對視頻進行二次加工處理后是否依然能夠有效識別，目前還不得而知。

如何看待Sora

在“寧愿看視頻也不愿看文字”的時代背景下，視頻內容的產出正迎來爆發(fā)式增長。相關統(tǒng)計顯示，從2015年至2020年，短視頻內容年均增長率達到驚人的400%。視頻已成為大眾日常消遣、娛樂、獲取外界信息最主要的方式之一。Sora作為一種視頻創(chuàng)作領域的先進生產力，其誕生和發(fā)展就具有時代必然性，無論是內容創(chuàng)作者還是網絡及信息安全相關的守護者，都應該以積極的心態(tài)應對隨之帶來的變革和挑戰(zhàn)。

“哪些能做，哪些不能做”

在今年年初人工智能大本營美國接連發(fā)生“假拜登來電”以及“泰勒·斯威夫特虛假不雅照”事件后，美國方面對此表示深感憂慮。美國消費者技術協會首席執(zhí)行官夏皮羅認為，政府需要在人工智能領域扮演重要角色，確保設置安全屏障和護欄，讓產業(yè)內人士知道，哪些能做，哪些不能做。

在世界各國政府層面，Sora的推出勢必將加速信息安全監(jiān)管措施的出臺。日前，歐盟各國政府已批準《歐盟人工智能法案》，該法案將禁止使用存在“不可接受風險”的AI系統(tǒng)，例如使用生物識別數據推斷公眾敏感特征的系統(tǒng)。歐洲議會預計將于4月簽署這項法案，若一切順利，這套法規(guī)將于2026年生效。

OpenAI也表示，將與世界各地的政策制定者、教育工作者和藝術家合作，了解他們的擔憂，確定Sora的積極使用案例，并認為從現實世界的使用中學習是創(chuàng)建和發(fā)布越來越安全的人工智能系統(tǒng)的關鍵組成部分。