抖音視頻里那些被驚呼“美爆了”、“酷斃了”、“真想焊在臉上”的特效，到底是怎么開發(fā)出來(lái)的?為何抖音特效能夠在多個(gè)平臺(tái)的比拼中脫穎而出?

　　7月28日，抖音聯(lián)合火山引擎在北京舉辦智能特效技術(shù)開放日。火山引擎特效技術(shù)專家在場(chǎng)分享了抖音特效的生產(chǎn)流程和技術(shù)原理。

　　據(jù)介紹，抖音特效主要使用了計(jì)算機(jī)視覺(jué)(CV)和計(jì)算機(jī)圖形學(xué)(CG)技術(shù)。CV代表對(duì)現(xiàn)實(shí)世界的理解，CG的作用是將渲染虛擬元素疊加到畫面，特效就是用CV和CG技術(shù)的互動(dòng)把現(xiàn)實(shí)和虛擬連接起來(lái)，經(jīng)過(guò)大量工程與產(chǎn)品化的迭代，最終為用戶呈現(xiàn)出生動(dòng)有趣的視覺(jué)效果。

　　CV技術(shù)：數(shù)據(jù)驅(qū)動(dòng)、場(chǎng)景豐富、算法全面

　　據(jù)火山引擎特效技術(shù)專家介紹，抖音特效的CV技術(shù)主要有三大特點(diǎn)。

　　首先，通過(guò)用戶的反饋推動(dòng)CV算法的優(yōu)化，是一大核心優(yōu)勢(shì)。

　　抖音擁有龐大的用戶規(guī)模，任何算法上的升級(jí)、迭代，都會(huì)影響到海量用戶，最終反饋到產(chǎn)品的使用數(shù)據(jù)上。其中某些指標(biāo)的上升或者下降往往與某個(gè)算法的某一次改動(dòng)之間有著深層次關(guān)聯(lián)。

　　其次，更豐富的使用場(chǎng)景，讓CV算法適用性更強(qiáng)。

　　除了抖音之外，字節(jié)跳動(dòng)其他眾多的APP和業(yè)務(wù)線，比如視頻拍攝、視頻剪輯、視頻會(huì)議等，其他垂類行業(yè)如游戲、廣告、房產(chǎn)、汽車等，都會(huì)產(chǎn)生非常豐富的使用場(chǎng)景。不同的使用場(chǎng)景，會(huì)產(chǎn)生各種差異化的需求，在同時(shí)滿足這些需求的過(guò)程中，也在助推CV算法能具備更好的適應(yīng)面。

　　以智能電視為例，客戶需要在電視攝像頭上應(yīng)用到一些特效。但這個(gè)場(chǎng)景和抖音的差別非常明顯：電視和手機(jī)，畫面的占比差別很大。所以一開始CV算法的效果很差。但正是在針對(duì)智能電視這一場(chǎng)景進(jìn)行算法優(yōu)化的過(guò)程，反而推動(dòng)了CV算法的進(jìn)步，最終很好地適應(yīng)了這一場(chǎng)景。后來(lái)，火山引擎發(fā)現(xiàn)抖音里面有很多場(chǎng)景也有類似智能電視場(chǎng)景的需求，就直接把相關(guān)成果拿過(guò)來(lái)用就行了。

　　此外，火山引擎CV算法覆蓋的技術(shù)能力也非常全面。

　　抖音特效里面使用了100多個(gè)不同的CV算法，如果把每一個(gè)算法都認(rèn)為是對(duì)真實(shí)場(chǎng)景的理解，在特效中就可以理解為100多種不同的真實(shí)場(chǎng)景，基本包含了各種不同的技術(shù)方向。從另一方面看，也證明了火山引擎技術(shù)團(tuán)隊(duì)人才的儲(chǔ)備也是非常全面的。

　　CG技術(shù)：為特效量身打造的輕量級(jí)渲染引擎

　　火山引擎的CG技術(shù)團(tuán)隊(duì)通過(guò)近兩年的打磨，完成了一個(gè)從零到一、自主研發(fā)的渲染引擎。這一引擎也有三個(gè)特點(diǎn)。

　　首先是體積小。

　　提到渲染引擎，大家比較熟悉的是Unity等非常成熟的商業(yè)化渲染引擎。與他們不同，抖音特效的渲染引擎，是針對(duì)短視頻AI特效的渲染場(chǎng)景，并不需要很多游戲行業(yè)的功能，所以是輕量級(jí)的渲染引擎，相比Unity的體積小得多。

　　其次是具備非常好的跨平臺(tái)能力。

　　火山引擎的CG技術(shù)除了可以用在移動(dòng)端的安卓和iOS平臺(tái)上，還可以用在PC上，包括Windows、MacOS、Linux等不同的操作系統(tǒng)。同時(shí)，同一個(gè)平臺(tái)也會(huì)有不同的圖形API的版本，這些主流的圖形API版本，火山引擎的CG技術(shù)全都可以支持。

　　另外一點(diǎn)就是可以做到出色的渲染效果。

　　以下面五個(gè)具體的特效為例，

　　第一個(gè)特效，是材質(zhì)領(lǐng)域的展示，PBR可以簡(jiǎn)單理解為偏向真實(shí)場(chǎng)景的材質(zhì)，可以明顯的感受到金屬的質(zhì)感。

　　第二個(gè)特效，是半透明以及有一定反射折射效果的材質(zhì)。

　　第三個(gè)特效，是自發(fā)光的效果。

　　第四個(gè)特效，應(yīng)用了GPU粒子系統(tǒng)。

　　在之前大家更為熟悉的“控雨特效”里，抖音特效第一次用到“粒子”的概念，但“控雨”里面的雨滴并不多。但是在GPU粒子系統(tǒng)中，光煙花里面用的粒子數(shù)量就達(dá)到上萬(wàn)，遠(yuǎn)遠(yuǎn)大于之前的控雨特效。這是因?yàn)橹?ldquo;控雨”的“粒子”要用到CPU來(lái)計(jì)算，而“GPU粒子系統(tǒng)”則使用的是GPU來(lái)完成上萬(wàn)粒子的計(jì)算。

　　最后一個(gè)演示里綜合性地包含了很多技術(shù)，可以理解為近乎真實(shí)的渲染效果。

　　在分享抖音特效背后的技術(shù)之外，火山引擎相關(guān)負(fù)責(zé)人也表示，作為字節(jié)跳動(dòng)的技術(shù)服務(wù)平臺(tái)，火山引擎不僅支持了抖音、今日頭條等公司內(nèi)部產(chǎn)品，也在向外部企業(yè)開放，為客戶提供特效創(chuàng)作工具套件、定制算法、工程化部署和對(duì)接聯(lián)調(diào)等產(chǎn)品及服務(wù)。此外，火山引擎資源商城提供了上萬(wàn)款抖音同款特效，企業(yè)可以根據(jù)熱度、類型等方式選擇使用。