導(dǎo)讀

本文從抖音集團(tuán)內(nèi)部畫質(zhì)評估體系的建設(shè)歷程著筆，主要分享了畫質(zhì)評測對于業(yè)務(wù)的重要性、主要應(yīng)用場景和內(nèi)部產(chǎn)品的一些典型實踐案例。通過分享業(yè)務(wù)視角遇到的一些問題和我們的解決思路，希望能拋磚引玉，為遇到類似困擾的伙伴們提供有價值的參考。

畫質(zhì)評估體系建設(shè)歷程

為何評測畫質(zhì)如此重要？

我們通過線上業(yè)務(wù)大量實驗發(fā)現(xiàn)，圖片畫質(zhì)優(yōu)劣對點(diǎn)擊率、 停留時長等消費(fèi)類指標(biāo)有正相關(guān)影響，間接影響用戶收益指標(biāo)。因此，建設(shè)一套行之有效的畫質(zhì)評估體系，保障用戶的畫質(zhì)體驗是非常有必要性的。

直觀來講，畫質(zhì)提升能夠為帶來更好的觀感體驗，但QoE綜合體驗也需要考慮其他方面如用戶設(shè)備、網(wǎng)絡(luò)狀況、觀看環(huán)境等多方面因素，不計成本地提升畫質(zhì)是否能持續(xù)為用戶帶來QoE的收益需要在業(yè)務(wù)場景中通過嚴(yán)謹(jǐn)?shù)膶嶒灧桨竵眚炞C效果的。

在低質(zhì)圖像打壓和基于畫質(zhì)的推薦優(yōu)化等多項業(yè)務(wù)中的數(shù)據(jù)分析積累沉淀，我們獲取畫質(zhì)評分與用戶主觀體驗之間的明確關(guān)系，數(shù)據(jù)統(tǒng)計顯示用戶對不同畫質(zhì)內(nèi)容的敏感程度有著不同趨勢，在中檔畫質(zhì)分區(qū)間持續(xù)提升畫質(zhì)，用戶的QoE體驗也會顯著提升，但當(dāng)畫質(zhì)低于或者高于某個閾值時，用戶對于畫質(zhì)將變得不再敏感，提升/降低畫質(zhì)對用戶的影響均會降低。

期望中的畫質(zhì)甜點(diǎn)關(guān)系，中段區(qū)間的畫質(zhì)提升會持續(xù)帶來QoE收益

實際業(yè)務(wù)場景中，分析畫質(zhì)與用戶平均觀看時長的關(guān)系，中高畫質(zhì)可以帶來持續(xù)的看播收益

下圖具體描述了兩類典型應(yīng)用場景下，畫質(zhì)評估體系在業(yè)務(wù)實踐中發(fā)揮的主要價值：

我們?yōu)楹巫匝挟嬞|(zhì)評估體系？

圖像服務(wù)的最終用戶是人類，圖像質(zhì)量評價致力于成為可衡量圖像的人眼感知質(zhì)量需求的客觀計算方法。

行業(yè)現(xiàn)狀

• 主觀質(zhì)量評估：最準(zhǔn)確，但費(fèi)時費(fèi)力費(fèi)錢，難以批量應(yīng)用。例如專家評測、眾包測試等。
• 客觀評估算法：省時省力可大規(guī)模應(yīng)用，但無論全參/無參考算法與主觀評測均存在一定GAP，在UGC場景，差距會更加明顯。

業(yè)界常用的有參畫質(zhì)評估算法，主要包括PSNR、SSIM、VMAF等3種：

痛點(diǎn)

• 難以量化畫質(zhì)增強(qiáng)效果：行業(yè)通用指標(biāo)（ PSNR、SSIM、VMAF等）均為有參考畫質(zhì)指標(biāo)， 主要適用于壓縮失真的畫質(zhì)評估，難以量化評估畫質(zhì)增強(qiáng)效果。
• 不適合 UGC 場景的評分：行業(yè)通用指標(biāo)適用場景存在一定局限性，其訓(xùn)練數(shù)據(jù)集主要為PGC內(nèi)容，在UGC場景的泛化效果較差。
• 評估維度有限：UGC場景下，圖片內(nèi)容復(fù)雜且畫質(zhì)影響因素多樣，需要更多維度評估指標(biāo)用于畫質(zhì)分析和指導(dǎo)優(yōu)化。

我們?nèi)绾谓ㄔO(shè)畫質(zhì)評估體系？

根據(jù)點(diǎn)播、直播和圖片等不同形態(tài)業(yè)務(wù)需求，視頻架構(gòu)多媒體實驗室自研的VQScore 畫質(zhì)體系提供配套最優(yōu)的全鏈路畫質(zhì)打分能力，提供異步或?qū)崟r畫質(zhì)打分?jǐn)?shù)據(jù)，為后續(xù)轉(zhuǎn)碼、增強(qiáng)、推薦策略和大盤監(jiān)控提供能力支持。

具體畫質(zhì)分析打分能力分為兩個部分：

1. 內(nèi)容分析理解：主要包含ROI檢測、CG內(nèi)容檢測、人臉檢測、內(nèi)容分類等基礎(chǔ)分類和檢測的能力，為后續(xù)畫質(zhì)打分和增強(qiáng)轉(zhuǎn)碼提供細(xì)分的維度拆解能力和關(guān)鍵內(nèi)容識別能力，實現(xiàn)精細(xì)準(zhǔn)確的端到端自適應(yīng)增強(qiáng)轉(zhuǎn)碼組合能力
2. 畫質(zhì)打分能力：主要包含通用清晰度打分算法、美學(xué)指標(biāo)、高階色彩指標(biāo)、人像畫質(zhì)等評估指標(biāo)，噪聲、塊效應(yīng)、過曝、臟鏡頭、模糊和偽高清等細(xì)分歸因指標(biāo)，以及超分質(zhì)量、銳化質(zhì)量和增強(qiáng)組合評估等前處理畫質(zhì)提升能力評估指標(biāo)，通用+歸因+增強(qiáng)多個維度組合，為不同的業(yè)務(wù)場景的畫質(zhì)優(yōu)化需求提供集監(jiān)控、分析、策略推薦等全方位畫質(zhì)打分能力

通用的畫質(zhì)清晰度評估算法基于多樣化多業(yè)務(wù)場景主觀標(biāo)注樣本、開源數(shù)據(jù)集和多樣化失真合成數(shù)據(jù)集，驅(qū)動的輕量transformer-based深度學(xué)習(xí)的方案，在UGC視頻/圖像場景提供更穩(wěn)定準(zhǔn)確的客觀清晰度預(yù)測能力。

在多種業(yè)務(wù)場景下，根據(jù)點(diǎn)播、直播和圖片不同形態(tài)業(yè)務(wù)需求，支持最高4K分辨率內(nèi)不同投稿內(nèi)容的源畫質(zhì)分析，結(jié)合業(yè)務(wù)屬性維度提供深入細(xì)化的畫質(zhì)維度分析，為自適應(yīng)轉(zhuǎn)碼提供編碼優(yōu)化對比和不同時間尺度的畫質(zhì)監(jiān)控，為AB實驗和版本迭代等業(yè)務(wù)流程提供有效的QoE維度數(shù)據(jù)，同時也可以為多分辨率/碼率檔位播放下發(fā)提供畫質(zhì)與QoS網(wǎng)絡(luò)、設(shè)備等因素組合組合的自適應(yīng)播放分發(fā)優(yōu)化能力。

抖音畫質(zhì)評估體系有哪些優(yōu)勢？

適用范圍廣泛

• 高質(zhì)量且規(guī)模龐大的訓(xùn)練數(shù)據(jù)集，覆蓋PGC和UGC內(nèi)容，適用范圍廣泛（特別針對UGC場景）。
• 算法模型歷經(jīng)億級DAU產(chǎn)品持續(xù)打磨優(yōu)化，泛化能力強(qiáng)。

評估維度多元

包含主觀清晰度、大眾美學(xué)質(zhì)量等2類綜合指標(biāo)和噪聲、亮度等十余類細(xì)分指標(biāo)，支持更多維度、更細(xì)粒度地分析畫質(zhì)問題，便于業(yè)務(wù)有針對性地進(jìn)行優(yōu)化和調(diào)整策略。

多業(yè)務(wù)線上驗證收益顯著

歷經(jīng)抖音、頭條、番茄小說等數(shù)十個大體量業(yè)務(wù)線上驗證，評估效果可靠，能有效支持業(yè)務(wù)進(jìn)行畫質(zhì)體驗提升，進(jìn)而帶來用戶消費(fèi)指標(biāo)提升，收益顯著。

算法能力業(yè)內(nèi)領(lǐng)先

畫質(zhì)評估體系涉及的算法模型已申請多項專利。eg. 一種檢測偽高清視頻的方法，一種基于多任務(wù)孿生神經(jīng)網(wǎng)絡(luò)的高階視頻色彩質(zhì)量評價模型，一種三明治視頻自適應(yīng)播放方法等。

在ICME 2021的「壓縮UGC視頻質(zhì)量評估」比賽中，火山引擎-多媒體實驗室憑借自研的VQScore算法斬獲無參考視頻質(zhì)量評價（NR-VQA）MOS賽道第一名。（詳細(xì)介紹）

該比賽主要針對 UGC 源視頻畫質(zhì)和 H.264/AVC 壓縮失真對視頻主觀畫質(zhì)的影響的研究

畫質(zhì)評估主要應(yīng)用在哪些場景？

以瘦身計劃和體重秤之間的關(guān)系做個簡單類比，畫質(zhì)評估體系作為一套相對客觀且行之有效的評測工具，在幫助產(chǎn)品了解業(yè)務(wù)畫質(zhì)現(xiàn)狀、了解行業(yè)和市場現(xiàn)狀、監(jiān)測線上畫質(zhì)變化和支持提升用戶體驗等方面都有非常廣泛的應(yīng)用。

1. 了解業(yè)務(wù)畫質(zhì)現(xiàn)狀

業(yè)務(wù)團(tuán)隊可以借助veImageX提供的畫質(zhì)評估工具，通過離線測評和在線評估等手段高效完成業(yè)務(wù)產(chǎn)品的畫質(zhì)摸底；同時，畫質(zhì)評估體系包含豐富的評測維度（例如噪聲強(qiáng)度、色彩質(zhì)量、塊效應(yīng)檢測、過曝光檢測等），數(shù)十項細(xì)分評測指標(biāo)可高效幫助業(yè)務(wù)團(tuán)隊完成低質(zhì)圖像歸因分析，快速鎖定問題所在。

2. 了解行業(yè)/市場現(xiàn)狀

借助畫質(zhì)評估工具，可以幫助業(yè)務(wù)團(tuán)隊對市場主流產(chǎn)品或同類業(yè)務(wù)進(jìn)行畫質(zhì)評測，以便制定合理的畫質(zhì)提升目標(biāo)；同時，綜合用戶主觀評測和客觀指標(biāo)的對應(yīng)關(guān)系，高效幫助業(yè)務(wù)團(tuán)隊確定適合自身業(yè)務(wù)的畫質(zhì)評估標(biāo)準(zhǔn)。

3. 監(jiān)測線上畫質(zhì)變化

對于一款關(guān)注用戶畫質(zhì)體驗的產(chǎn)品來說，線上畫質(zhì)監(jiān)測工具必不可少。而veImageX提供端到端的畫質(zhì)指標(biāo)監(jiān)測工具，可幫助業(yè)務(wù)團(tuán)隊長期高效監(jiān)測線上畫質(zhì)變化；通過前后數(shù)據(jù)對比分析，幫助業(yè)務(wù)有效驗證畫質(zhì)優(yōu)化舉措的效果；同時，線上低質(zhì)問題告警也可幫助業(yè)務(wù)團(tuán)隊及時發(fā)現(xiàn)問題，保障線上用戶瀏覽體驗。

4. 支持提升用戶體驗

借助畫質(zhì)評估體系提供的評測結(jié)果，業(yè)務(wù)團(tuán)隊可以通過對低質(zhì)圖片進(jìn)行搜索/推薦降權(quán)等方式打壓低質(zhì)內(nèi)容，或借助畫質(zhì)增強(qiáng)能力提升畫質(zhì)，有效提升用戶的瀏覽體驗，進(jìn)而帶來點(diǎn)擊率、人均閱讀/消費(fèi)時長、用戶留存等業(yè)務(wù)指標(biāo)正向提升。

典型案例實踐分享

目前，由火山引擎veImageX提供的畫質(zhì)評估工具已服務(wù)于抖音、頭條、西瓜、番茄小說、懂球帝等數(shù)十條業(yè)務(wù)線，在保障用戶的畫質(zhì)體驗方面發(fā)揮著重要作用。接下來，我們選取了幾個典型案例為大家簡要分享我們的實踐經(jīng)驗。

某短視頻/社區(qū)平臺

需求背景

某短視頻/社區(qū)平臺是主要用戶分布在多個國家和地區(qū)，發(fā)布內(nèi)容覆蓋多個細(xì)分垂類。業(yè)務(wù)團(tuán)隊收到部分用戶反饋關(guān)注到不同國家和內(nèi)容垂類間的畫質(zhì)存在一定差異，影響了用戶的瀏覽體驗，從而設(shè)立專項進(jìn)行問題解決。

實踐方案

業(yè)務(wù)團(tuán)隊首先使用畫質(zhì)評估工具對全地區(qū)的圖片畫質(zhì)進(jìn)行了離線摸底分析，發(fā)現(xiàn)部分國家間、某些重點(diǎn)垂類間的圖片畫質(zhì)有較大差異，故使用自適應(yīng)增強(qiáng)模型，針對性進(jìn)行畫質(zhì)提升的同時盡可能節(jié)省碼率。

整體收益

優(yōu)化后，該平臺各地區(qū)間、重點(diǎn)垂類間的畫質(zhì)基本拉齊且均達(dá)到【良好】及以上水平，圖片大小顯著降低，人均停留時長、人均互動、人均閱讀時長、人均session次數(shù)等消費(fèi)指標(biāo)均顯著正向。

番茄小說

1. 需求背景

相比于網(wǎng)文，漫畫的書封更加精美，信息量也更多，因此在產(chǎn)品形態(tài)上，番茄小說頻道采用了大屏的展現(xiàn)形式。然而，在漫畫功能上線后，業(yè)務(wù)團(tuán)隊發(fā)現(xiàn)，有部分漫畫的原始書封比較模糊，嚴(yán)重影響用戶瀏覽體驗。如下圖所示：

為了提升這部分圖片的畫質(zhì)，業(yè)務(wù)團(tuán)隊想到了通過畫質(zhì)評估篩查低質(zhì)圖片，使用畫質(zhì)增強(qiáng)能力搭建自動化處理流程，針對性處理低質(zhì)圖片，得到高清圖，以提升整體觀感。

2. 實踐方案

業(yè)務(wù)團(tuán)隊使用veImageX畫質(zhì)評估工具，針對出版物（如小說封面、插圖、電子書書封、有聲播放器封面等） 和漫畫（漫畫封面、橫圖等） 等場景進(jìn)行離線畫質(zhì)測評，對不同分辨率圖片進(jìn)行畫質(zhì)摸底。根據(jù)對低質(zhì)原因的分析和增強(qiáng)算法對主觀畫質(zhì)提升的收益大小綜合評估，明確差異化的處理方案。最終業(yè)務(wù)團(tuán)隊選擇搭建自動化處理流程，根據(jù)評估結(jié)果對不同畫質(zhì)等級的圖片進(jìn)行如自適應(yīng)增強(qiáng)、超分等優(yōu)化處理，針對性提升用戶的畫質(zhì)瀏覽體驗。

低質(zhì)圖片優(yōu)化前后對比如下：

3. 整體收益

番茄小說團(tuán)隊借助veImageX畫質(zhì)評估和畫質(zhì)增強(qiáng)能力，有的放矢的提升畫質(zhì)，有效提升了用戶畫質(zhì)體驗和點(diǎn)擊率、人均閱讀/消費(fèi)時長、留存等用戶消費(fèi)指標(biāo)。

今日頭條

需求背景

頭條小視頻頻道主要以雙列展示為主，而雙列流頻道展現(xiàn)形式又以封面圖為主。綜合線上實驗結(jié)果和實踐經(jīng)驗發(fā)現(xiàn)，封面圖的畫質(zhì)質(zhì)量不僅會影響用戶瀏覽體驗，也會影響點(diǎn)擊轉(zhuǎn)化率和用戶留存等業(yè)務(wù)指標(biāo)，如何有效識別封面模糊的內(nèi)容并進(jìn)行打壓調(diào)控成為一項較為棘手的工作。

實踐方案

借助畫質(zhì)評估工具，業(yè)務(wù)團(tuán)隊對封面圖進(jìn)行畫質(zhì)打分，高效識別出低質(zhì)封面（blockiness≥ X且vqscore< Y）并實行打壓調(diào)控策略；同時將vqscore納入推薦模型的參考指標(biāo)，給優(yōu)質(zhì)內(nèi)容提供更多優(yōu)先曝光機(jī)會。

整體收益

業(yè)務(wù)團(tuán)隊通過對低質(zhì)封面圖進(jìn)行打壓調(diào)控，人工評估封面優(yōu)質(zhì)率提升約3倍，封面低質(zhì)率降低了約36.7% ，模糊封面圖占比降低了約51.4% ，人均閱讀數(shù)、 停留時長 、點(diǎn)擊轉(zhuǎn)化率等業(yè)務(wù)指標(biāo)也得到顯著提升。（數(shù)據(jù)來自業(yè)務(wù)AB實驗）

幸福里VR

需求背景

幸福里房產(chǎn)VR能力在建設(shè)初期，因素材供給來源多樣且渠道紛雜，質(zhì)量良莠不齊，頻繁收到線上用戶反饋；圖像質(zhì)量把控主要依靠人工審核、定期抽檢和線上反饋，不僅耗費(fèi)人力且評估主觀，對全景圖缺乏有區(qū)分度的數(shù)據(jù)指標(biāo)量化衡量圖像質(zhì)量和行業(yè)領(lǐng)先水平的差距，導(dǎo)致業(yè)務(wù)團(tuán)隊難以高效定位畫質(zhì)問題并針對性的改善和評估優(yōu)化效果。

實踐方案

通過對線上樣本數(shù)據(jù)進(jìn)行離線畫質(zhì)摸底并綜合算法專家建議，業(yè)務(wù)團(tuán)隊最終選定清晰度 （ VQScore ）、噪聲（Noise）、亮度（Brightness）、過曝光（Overexporsure） 等四項指標(biāo)作為全景圖量化評估指標(biāo)。評估發(fā)現(xiàn)精裝 、 簡裝 、毛坯等三種裝修類型存在顯著畫質(zhì)差異，關(guān)鍵差異與環(huán)境光線、燈光照明等因素有較高關(guān)聯(lián)，業(yè)務(wù)團(tuán)隊針對性進(jìn)行迭代優(yōu)化并監(jiān)測畫質(zhì)指標(biāo)變化，顯著提升了VR看房效果。

整體收益

業(yè)務(wù)團(tuán)隊通過畫質(zhì)評估工具，定位具體的畫質(zhì)問題，針對性進(jìn)行迭代優(yōu)化以縮小和行業(yè)領(lǐng)先水平的差距；同時借助veImgaeX 提供的VR畫質(zhì)增強(qiáng)能力，顯著提升全景圖畫質(zhì)，階段性實現(xiàn)用戶0客訴，彌補(bǔ)了前端采集設(shè)備質(zhì)量參差等問題。

寫在最后

本文簡要介紹了抖音集團(tuán)內(nèi)部對畫質(zhì)評估體系的業(yè)務(wù)思考、建設(shè)歷程、應(yīng)用場景和部分實踐經(jīng)驗。由于篇幅所限，本文對探索歷程、具體實現(xiàn)等細(xì)節(jié)內(nèi)容有所省略，但仍希望能給業(yè)內(nèi)同仁們一點(diǎn)啟發(fā)或者參考借鑒。