Labs 導(dǎo)讀

我們?cè)?/span>《AIoTel下視頻編碼技術(shù)（上）》 中提到，AIoTel中應(yīng)用場(chǎng)景中，視頻編碼面臨著低延時(shí)和高效率的挑戰(zhàn)。從H.264、H.265到H.266，雖然每一代編碼標(biāo)準(zhǔn)比前一代在編碼效率有顯著提高，但編碼復(fù)雜度也都大幅提升，嚴(yán)重限制了它們的應(yīng)用場(chǎng)景。為了解決這個(gè)問(wèn)題，快速編碼成為了視頻編碼中的一個(gè)重要研究方向。

一、視頻編碼標(biāo)準(zhǔn)和快速編碼算法的發(fā)展

隨著數(shù)字視頻技術(shù)的發(fā)展，視頻編碼技術(shù)也在不斷進(jìn)步。早在上世紀(jì)九十年代，MPEG-2作為第一代廣泛應(yīng)用的視頻編碼標(biāo)準(zhǔn)，就開(kāi)始被廣泛用于數(shù)字電視、DVD等應(yīng)用中。然而，由于它的編碼效率相對(duì)較低，無(wú)法滿足網(wǎng)絡(luò)視頻傳播的需求。H.264作為一種高效的視頻編碼標(biāo)準(zhǔn)，大大提高了編碼效率，但隨之而來(lái)的是編碼復(fù)雜度的大幅度提升。H.265標(biāo)準(zhǔn)進(jìn)一步推動(dòng)了編碼效率的提升，相比于H.264，可以在相同的視頻質(zhì)量下將碼率降低50%，但與此同時(shí)，編碼復(fù)雜度也進(jìn)一步提高。H.266標(biāo)準(zhǔn)下編碼器的復(fù)雜度比H.265相比又提升了一個(gè)數(shù)量級(jí)。

伴隨著視頻編碼標(biāo)準(zhǔn)的迭代演進(jìn)和壓縮效率的顯著提升，降低編碼計(jì)算復(fù)雜度問(wèn)題也日益凸顯。研究人員在不斷探索更高效的編碼方法，期望在保持一定的壓縮率和質(zhì)量的前提下，通過(guò)優(yōu)化編碼算法，減少冗余計(jì)算有效地提高編碼速度。

圖1 視頻編碼標(biāo)準(zhǔn)及復(fù)雜度變化^[1]

二、快速視頻編碼的重要性

快速視頻編碼具有如下重要意義：

• 節(jié)約計(jì)算成本

快速視頻編碼能夠在保持一定的壓縮率和質(zhì)量的前提下，有效地降低編碼復(fù)雜度，減少編碼時(shí)間。這意味著，對(duì)于同樣的視頻內(nèi)容，使用快速視頻編碼技術(shù)可以更快地完成編碼處理，從而提高了視頻的處理速度和傳播效率。

• 縮短編碼延時(shí)

快速視頻編碼的實(shí)現(xiàn)，使得視頻內(nèi)容可以在更多的應(yīng)用場(chǎng)景中得到應(yīng)用。例如，在實(shí)時(shí)或近實(shí)時(shí)的視頻通信、直播流媒體、視頻監(jiān)控等領(lǐng)域，快速視頻編碼技術(shù)的應(yīng)用，能夠確保視頻內(nèi)容可以在短時(shí)間內(nèi)被處理和傳輸，從而滿足了這些應(yīng)用對(duì)于實(shí)時(shí)性的要求。

• 支撐和推動(dòng)更多的視頻應(yīng)用

快速視頻編碼的出現(xiàn)，推動(dòng)了視頻技術(shù)的發(fā)展，為未來(lái)的視頻應(yīng)用提供了更多的可能性。隨著技術(shù)的進(jìn)步，更多的創(chuàng)新應(yīng)用，如虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等，都需要依賴快速視頻編碼技術(shù)的支持。

三、H.265快速編碼的技術(shù)原理與方法

為了實(shí)現(xiàn)視頻編碼的高效率和高質(zhì)量，從H.264到H.266，新一代的編碼標(biāo)準(zhǔn)引入了一系列復(fù)雜而高效的技術(shù)，如更精細(xì)的運(yùn)動(dòng)估計(jì)、更多樣的模式?jīng)Q策、更復(fù)雜的編碼塊劃分等。然而，這些高效的技術(shù)同時(shí)也帶來(lái)了大量的計(jì)算量，導(dǎo)致編碼過(guò)程變得復(fù)雜和耗時(shí)。研究人員提出了一系列的快速編碼技術(shù)，包括快速編碼塊（Coding Unit, CU）劃分算法、快速模式?jīng)Q策算法和快速運(yùn)動(dòng)估計(jì)算法等。

3.1 快速編碼塊劃分算法

H.264編碼中，宏塊的劃分相對(duì)簡(jiǎn)單，可以被劃分為16x16、16x8、8x16或8x8的子塊。H.265引入了一種更靈活的編碼樹(shù)（Coding Tree Unit, CTU）結(jié)構(gòu)，允許每個(gè)編碼塊被遞歸地劃分成更小的子塊，同時(shí)也支持更大的CTU尺寸。這顯著提高了編碼效率，但同時(shí)也增加了編碼復(fù)雜度。H.266再次推動(dòng)了編碼塊劃分的復(fù)雜性，引入了更多的劃分模式和更大的CTU尺寸，但同樣也帶來(lái)了更大的計(jì)算負(fù)擔(dān)。

為了解決這個(gè)問(wèn)題，研究人員提出了一系列的快速塊劃分方法。這些方法的主要思想是通過(guò)分析編碼過(guò)程中的統(tǒng)計(jì)信息，預(yù)測(cè)出最優(yōu)的劃分方式，提前結(jié)束逐層級(jí)的CU劃分和RD cost計(jì)算。快速劃分策略通常利用先驗(yàn)知識(shí)，如歷史編碼信息、空間和時(shí)間上下文信息等，分析并預(yù)測(cè)出最優(yōu)的劃分方式，然后只對(duì)預(yù)測(cè)出的劃分方式進(jìn)行測(cè)試和RD cost計(jì)算，在其中挑選出最終劃分方式。這樣，就可以大大減少劃分測(cè)試的數(shù)量，從而降低劃分決策的復(fù)雜度和時(shí)間。

通過(guò)一個(gè)具體的例子進(jìn)一步說(shuō)明。對(duì)一個(gè)CTU進(jìn)行塊劃分時(shí)，可以按照?qǐng)D3的方式，僅僅根據(jù)四個(gè)角的CU信息進(jìn)行快速判定，看是否可以跳過(guò)子CU的劃分。若滿足跳過(guò)條件，整個(gè)計(jì)算流程將會(huì)極大簡(jiǎn)化，從而降低計(jì)算復(fù)雜度。圖4所示的紋理可以更直觀地看出，如果四個(gè)角的CU非常接近，那么大概率不用進(jìn)一步劃分成子CU。

3.2 快速模式?jīng)Q策算法

幀內(nèi)預(yù)測(cè)模式是視頻編碼中一個(gè)重要的環(huán)節(jié)，它可以預(yù)測(cè)當(dāng)前幀中的像素值，以實(shí)現(xiàn)更高的壓縮效率。在H.264編碼中，幀內(nèi)預(yù)測(cè)主要包括9種預(yù)測(cè)模式：垂直模式、水平模式、DC模式和6種角度模式。H.265進(jìn)一步擴(kuò)展了幀內(nèi)預(yù)測(cè)模式，引入了33種角度模式；H.266繼續(xù)增加了幀內(nèi)預(yù)測(cè)模式的復(fù)雜性，將角度模式擴(kuò)展到了65種，并且引入了更多的預(yù)測(cè)工具，如色度預(yù)測(cè)、聯(lián)合預(yù)測(cè)等。這些新的模式和預(yù)測(cè)工具進(jìn)一步提高了編碼效率，但同時(shí)也增加了編碼的復(fù)雜度和計(jì)算負(fù)擔(dān)。

快速模式?jīng)Q策算法的核心思想是利用視頻數(shù)據(jù)的特性和模式的先驗(yàn)知識(shí)，以盡可能減少需要計(jì)算的編碼模式數(shù)量。例如，視頻序列中相鄰的幀和塊在視覺(jué)上通常是相似的，它們的最優(yōu)編碼模式也可能相似。因此，可以通過(guò)分析前一幀或鄰近塊的編碼模式預(yù)測(cè)當(dāng)前塊的最可能的編碼模式。此外，可以進(jìn)一步優(yōu)化模式?jīng)Q策過(guò)程。例如，可以使用更復(fù)雜的預(yù)測(cè)模型，如機(jī)器學(xué)習(xí)模型，來(lái)預(yù)測(cè)最可能的編碼模式。這種模型可以更好地利用歷史編碼信息和上下文信息，提供更準(zhǔn)確的預(yù)測(cè)結(jié)果。通過(guò)以上方法，可以大大減少需要計(jì)算的編碼模式，從而降低計(jì)算復(fù)雜度。

例如，對(duì)H.265的35種模式進(jìn)行預(yù)測(cè)時(shí)，不必逐一進(jìn)行計(jì)算，而是按照標(biāo)號(hào)為5、10、15、20、25、30的5個(gè)方向做初步篩選，從其中最可能的角度模式中做進(jìn)一步的精細(xì)篩選，從而降低模式?jīng)Q策復(fù)雜度。進(jìn)一步地，甚至可以先從水平和垂直兩個(gè)方向中篩選中粗篩，然后從相鄰模式中細(xì)篩，進(jìn)一步減少?zèng)Q策步驟。

3.3 快速運(yùn)動(dòng)估計(jì)算法

運(yùn)動(dòng)估計(jì)在視頻編碼中起著至關(guān)重要的作用。它的主要任務(wù)是為每個(gè)視頻塊找到一個(gè)運(yùn)動(dòng)矢量，該矢量指示該塊在參考幀中的位置。傳統(tǒng)的運(yùn)動(dòng)估計(jì)方法，如全搜索方法，需要對(duì)整個(gè)搜索窗口進(jìn)行遍歷，計(jì)算量巨大，效率低下。對(duì)于每一個(gè)可能的運(yùn)動(dòng)矢量，都需要計(jì)算塊之間的匹配程度，例如通過(guò)塊間差異的絕對(duì)和（SAD）或塊間差異的平方和（SSE）等。這種方法雖然可以找到最優(yōu)的運(yùn)動(dòng)矢量，但是計(jì)算復(fù)雜度太高，不適合于實(shí)時(shí)編碼。

在H.264中，引入了一些基本的快速運(yùn)動(dòng)估計(jì)算法，如鉆石搜索（DS）、三步搜索（TSS）和新的三步搜索（NTSS）等。這些算法通過(guò)設(shè)計(jì)特定的搜索模式和搜索步長(zhǎng)，減少了搜索點(diǎn)的數(shù)量，從而降低了運(yùn)動(dòng)估計(jì)的復(fù)雜度和時(shí)間。然而，這些算法的搜索精度和靈活性還有待提高。

在H.265和H.266中，引入了更精細(xì)的運(yùn)動(dòng)估計(jì)算法，例如精度更高的亞像素和1/4像素位置插值、基于深度信息的運(yùn)動(dòng)估計(jì)優(yōu)化等。同時(shí)，也引入了更多的快速運(yùn)動(dòng)估計(jì)算法，如Test Zone Search（TZSearch）等。這些算法利用運(yùn)動(dòng)矢量的時(shí)間和空間相關(guān)性，通過(guò)精細(xì)地設(shè)計(jì)搜索模式和搜索步長(zhǎng)，大大減少了搜索點(diǎn)的數(shù)量，從而降低了運(yùn)動(dòng)估計(jì)的復(fù)雜度和時(shí)間。

值得注意的是，上述的快速CU劃分、快速模式?jīng)Q策、快速運(yùn)動(dòng)估計(jì)等算法雖然可以大大降低運(yùn)動(dòng)估計(jì)的復(fù)雜度和時(shí)間，但也可能導(dǎo)致一定程度的性能損失。因此，在設(shè)計(jì)和實(shí)施快速算法時(shí)，需要在降低計(jì)算復(fù)雜度和保持編碼性能之間找到一個(gè)平衡。

四、快速視頻編碼的應(yīng)用與前景

快速視頻編碼技術(shù)的出現(xiàn)，為許多實(shí)時(shí)或近實(shí)時(shí)的應(yīng)用提供了可能。

4.1 會(huì)議和直播場(chǎng)景

在網(wǎng)絡(luò)直播、視頻會(huì)議、在線教育、遠(yuǎn)程醫(yī)療等場(chǎng)景，都需要快速編碼技術(shù)來(lái)保證視頻內(nèi)容在短時(shí)間內(nèi)被處理和傳輸，滿足用戶對(duì)于實(shí)時(shí)性的要求。

4.2 實(shí)時(shí)監(jiān)控場(chǎng)景

在安防監(jiān)控領(lǐng)域，由于監(jiān)控視頻數(shù)據(jù)量巨大，快速視頻編碼技術(shù)也起著關(guān)鍵作用。它不僅可以有效地壓縮視頻數(shù)據(jù)，節(jié)省存儲(chǔ)空間，而且由于其快速的編碼能力，也可以支持實(shí)時(shí)監(jiān)控，對(duì)于犯罪預(yù)防和公共安全具有重要意義。

4.3 VR、AR等新型應(yīng)用場(chǎng)景

此外，隨著虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）等新型應(yīng)用的出現(xiàn)，對(duì)于視頻編碼技術(shù)的要求也在不斷提高。這些應(yīng)用需要傳輸大量的高質(zhì)量視頻數(shù)據(jù)，因此，快速視頻編碼技術(shù)的應(yīng)用，將是未來(lái)發(fā)展的一個(gè)重要方向。

5、結(jié)論

總的來(lái)說(shuō)，快速視頻編碼技術(shù)，對(duì)于推動(dòng)視頻技術(shù)的發(fā)展，具有重要的意義。它在保持一定的壓縮率和質(zhì)量的前提下，可以有效地降低編碼復(fù)雜度，節(jié)約計(jì)算成本，減少編碼時(shí)間，提升視頻的處理速度和傳播效率。在未來(lái)，隨著視頻應(yīng)用的不斷擴(kuò)大和深入，我們有理由相信，快速視頻編碼技術(shù)將在更多的領(lǐng)域得到應(yīng)用，推動(dòng)視頻技術(shù)向更高的水平發(fā)展。