AI技術+短視頻于蘇寧易購電商平臺的應用實踐

作者：高超 2018-05-25 22:56:14

在5月18日上午“人工智能技術探索”B會場論壇中， PP云高級技術架構師高超帶來了《AI技術+短視頻于蘇寧易購電商平臺的應用實踐》的主題分享。

【51CTO.com原創稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運維技術峰會在北京召開。此次峰會圍繞人工智能、大數據、物聯網、區塊鏈等12大核心熱點，匯聚海內外60位一線專家，是一場高端的技術盛宴，也是***IT技術人才學習和人脈拓展不容錯過的平臺。

在5月18日上午“人工智能技術探索”B會場論壇中， PP云高級技術架構師高超帶來了《AI技術+短視頻于蘇寧易購電商平臺的應用實踐》的主題分享。

演講一開始，高超首先介紹了蘇寧視頻云的基本情況。目前，蘇寧視頻云主要賦能直播、點播、短視頻網頁加速和低延時視頻通話這五大業務。

直播：軟件開發工具包、API、控制臺
點播：基于PP視頻十年媒體技術和服務經驗，打造的集上傳，存儲，轉碼，加速，管理和監控等功能為一體的產品
短視頻：集拍攝，編輯，上傳，轉碼，管理，分發，播放于一體的全功能產品
網頁加速：自建+融合，支持全球智能化調度
低延時視頻通話：基于WebRTC的視頻通話解決方案，可以多人視頻通話和旁路直播

緊接著，高超分享了蘇寧視頻云背后的核心技術細節，主要涉及短視頻機器審核、短視頻加速智能調度和AI技術上的前景和困惑等部分。

一、短視頻機器審核

1.AI應用起源

2016年開始，PP云進入快速發展周期，出現大量涉黃視頻和版權問題視頻，主要來源是企業上傳視頻。期間編輯審核速度不快，運營投訴，法務部門的反饋都讓技術團隊不得不抽出時間應對。PP云的技術人員需要花出額外的時間來人工校驗，封禁賬號。

經過一段時間的經驗積累和應對措施調整，AI在視頻審核的應用需求被提上日程。

2.機器審核需求演化

下面是PP云提出需求后，將機器審核服務上線落地，不斷迭代經過的歷程。

需求初期專門針對視頻機器審核做了可行性分析，對目標的可操作性進行了論證，最終確認使用人工智能來做這件事情，并且調研和測試了卷積神經網絡在這方面的應用，實際測試中也應用了深度學習框架來驗證效果。

業務系統整合階段讓機器審核作為分布式服務部署，同時和人工審核服務并行存在，避免審核錯誤，并且糾正后的結果可以作為訓練數據。

評估預測結果是個不斷迭代，可持續的過程，在實際應用中，演化出了不同業務特性使用不同的模型。

3.機器審核工作流

該工作流分為兩層：上層為業務流程，下層為機器審核服務流程。

業務流程的輸入項為視頻文件，轉換為視頻全圖作為機器審核服務的輸入項。
機器審核服務對視頻全圖做特征處理，如重復檢測等等，再輸入到訓練模型中給出結果預測，結果預測會輸出到業務流程中，由人工審核監督。
訓練模型會進行定期評估和調整，已適應不斷變化的業務需求。

4.機器審核服務實踐

在測試階段參與測試的視頻總量達數千萬，所占存儲約3PB。

測試視頻的分類豐富，主要有電商類、體育類、文化類、企業多元化視頻。電商類視頻包括蘇寧易購商品介紹視頻，商品評價視頻，社區視頻等不同場景類型內容；體育類視頻有直播錄制視頻，賽事講解視頻等等；文化類包含多種娛樂性視頻，資訊類視頻，PGC專業性內容視頻等；企業上傳視頻是分類最多，場景最豐富的區域。

上面示例是蘇寧易購的視頻全景圖，采用固定間隔截圖，默認是6秒鐘間隔一張，如果是高度敏感內容，可以調整為1秒鐘間隔一張；縮略圖采用10x10排列，一共100張一個全景，超過的部分用新的全景排列。

有了可測試數據源后，PP云對主流AI框架做了調研和測試。選型的測試框架有Caffe、Keras、TensorFlow，結合實際需求，確定了使用Caffe作為機器審核的基礎AI框架，***個測試階段的數據集抽取了ImageNet的部分分類做驗證，再使用準備好的視頻數據做進一步準確性測試。

上圖是一個普通神經網絡的示例圖，有輸入層、隱藏層、輸出層，實際應用中層數和鏈接都會做調整。

這是一個AlexNet模型，是兩個GPU的使用場景，能清晰的看到輸入層是一個 224x224x3的圖像輸入，劃分為小圖是11x11，移動步長為4；長方體是卷積核，比如3x3，5x5，還有深度；***是三個全鏈接層，還有卷基層中間的池化層，起降維作用，減少參數輸入，最終輸出是100個類別；在PP云實際使用的時候調整了類別個數。

這是一個VGG16模型，PP云的目標檢測使用了Faster RCNN，VGG16一共16層，有13個卷積層和3個全鏈接層，實際測試中比AlexNet準確率更高，但是速度要慢一點，所以會應用中存量視頻或及時性要求不高的視頻審核上。

從圖上可以很形象的看出池化層(max pooling)的參數降維作用，并且激活函數和AlexNet相同，都使用了ReLU，輸出層類別也是1000個

下圖是PP云測試中確定內容判定閥值的過程數據，可以看到閥值測試范圍是0.3到0.7，步長是0.05，經過樣本測試選中了0.45作為生產環境常量。

以下是影片分類判定閥值測試，利用同樣的測試數據按計劃做批次測試并匯總結果。

拿測試結果的90%作為置信區間，經過公式推算，得出閥值推薦值為0.473，推薦范圍為[0.31,0.53]，PP云根據不同的業務要求做細節調整

目前PP云的系統平均準確率可以達到99.2%以上，準確率是按照整個視頻所有圖片聚合計算后得到的最終概率計算。

在PP云使用卷積神經網絡過程中也需要針對結果準確性做調試，這時候就需要反卷積算法幫助，來反查判斷錯誤的內容是從那一層開始出錯的，如下圖是一個VGG16模型的卷積過程和反卷積過程

下圖是PP云業務系統集成示例，一共有兩個模式：業務增量視頻上傳接入、掃描處理歷史數據；業務系統講視頻上傳至存儲管理系統中，由存儲管理系統來分發審核任務，并且獲取審核結果，機器審核分布式服務訂閱任務隊列，處理完任務后反饋結果到存儲管理系統，整個過程實時性較高。

上面審核后臺用來做結果復核，界面操作如下圖，即是審核也是打標，打標后的數據可以重新反饋給機器審核做訓練數據。

下圖是業務系統應用的一個場景，講機器審核和人工審核結果都同步過來，按照業務預定義好的判斷邏輯做最終決策。

5.其他類型的監控

除了機器審核對視頻的動態監測，PP云還使用了其他運維工具來保障服務訪問的穩定性。如蘇寧云跡作為自研系統，可以滿足故障分析和基礎報警需求；ELK和TICK作為輔助工具可以定制更多的業務類型監測和報警。

二、短視頻加速智能調度

1.加速智能調度演化

隨著業務越來越多，資源越來越豐富，PP云需要針對不同服務做不同級別的保障，所以提出了智能調度的需求。和機器審核類似，也經歷了三大過程，采用TensorFlow框架，不同類型的數據類型和輸出策略。

2.加速智能調度工作流

該工作流分為兩層：上層為業務流程，下層為預測服務流程。

PP云的數據輸入邊界比較明顯，預置策略相對靈活，由模型利用歷史數據和當前數據做調度預測，業務人工選擇推薦并應用。

3.智能調度實踐

針對智能調度的目標定位分為服務整體穩定性和故障自動恢復。

通過調度預測實現局部穩定性推薦，并提升整體系統穩定性指數；并且可以在故障發生時根據推薦列表嘗試自動恢復。

作為預測數據來源，PP云一共分為三大類型：全網監測數據、基調網絡數據和業務預置策略。全網監測數據來自自建CDN節點詳細數據記錄，商業融合CDN可以使用節點日志數據，基調網絡數據可以更詳細，基于LastMile，可以獲取nslookup結果，ping結果，traceroute結果，終端下載耗時，下載速度，視頻buffer等等，加上業務預置邊界策略，可以推薦調度策略供業務使用。