人工智能正加速改變各個行業，而流媒體領域可能是其中改變最快的一個。隨著神經網絡相關算法問題得到解決，人工智能技術在最近幾年得到了快速的發展，而人工智能技術在流媒體領域的滲透，使這項技術獲得了新的突破。當下圖片、長視頻、短視頻、直播、AR等各種媒體形式占據著互聯網圈，在媒體內容和形式都非常豐富的今天，如何辨識、解析這些內容，并通過人工智能反饋是目前所有科技巨頭關注的焦點，其中圖像識別、語音語義識別、同聲傳譯、字幕識別等應用場景的進一步挖掘，需要人工智能大戰拳腳。

什么是人工智能？[[215192]]

通俗一點講，人工智能就是大數據+機器學習。這跟我們人類很像，我們想要獲取知識的話，需要很多的源材料，比如通過觀察外邊的世界，去閱讀各種書籍，或者請教老師、他人等。對于計算機來說也是這樣的原理，它需要獲取大量的數據去做訓練，在大量數據里邊抽取出有用的信息，構成它的知識庫。

數據是人工智能的基礎

數據是人工智能技術實現的基礎，在UCloud平臺中，數據處理是如何操作的呢？首先，我們我們的對象存儲、直播云、媒體工廠每天會產生大量的原始數據，比如對象存儲每天新增的圖片會超過10億張，但是這些原始數據并不一定是對計算機友好的，例如直播數據，里面有傳輸的協議、音視頻的交錯，還有各種編碼在里面，這樣的原始的數據對機器學習來說是不友好的。我們就需要預處理的平臺對原始數據進行處理，譬如圖片壓縮、音頻提取與聲道、采樣率歸一化、視頻的抽幀等，這些預處理的功能目前采用docker鏡像部署的方式跑在我們的彈性計算平臺上，目前有超過10000個虛擬節點在做這個事情。

僅有數據還是不夠的，我們需要對數據打上標簽，讓計算機知道這個東西是什么，然后它通過數據標簽去訓練和想學習，認識這一類的事物。目前打標簽有多種形式，如人工標注、關鍵字主動抓取等，對于難于標注的語音類的數據，我們也會購買第三方的數據。數據是人工智能的基礎，未來在人工智能這個領域，數據層面的競爭將會非常激烈。

機器學習解決哪些問題？

人工智能的另外一個重要環節機器學習，它解決的主要是兩類問題，一是分類，二是回歸。

分類目前應用得比較廣泛，也相對成熟一些，如圖片的分類，給出一張圖片，識別這個圖片是小貓還是小狗；或是對文字內容的分類，比如讓計算機去分析一篇文章到底是體育類的還是經濟類的等等。回歸則是數學的概念，它處理的問題也是偏數學方向的，輸入和輸出都是數字類型的。據了解，目前有些團隊在做類似股票預測的場景，像這種場景依賴的變量非常多，而且本身系統非常復雜，難度比較大。

分類功能在媒體領域的應用

在當下這個內容為王的時代，分類和回歸在媒體方面的應用十分廣泛，如內容審核、人臉識別、自動標簽、字幕識別、同聲傳譯等。

【內容審核】

目前大多數的內容平臺對用戶都是開放的，用戶可以上傳圖片、視頻等。開放本身是好事，使得內容更加豐富，但會涉及到很多網絡監管問題，在國家和政府對網絡內容的監管要求越來越嚴格的背景下，很多內容平臺公司會專門成立內容審核部門，采用人工審核的方式，對用戶上傳內容進行全量審核。這項工作如果完全依賴人力審核的話是一項巨大的工程，且審核團隊的工作枯燥乏味。

目前UCloud的UMAI平臺支持圖片與視頻的涉黃、暴力等內容識別，通過調用UMAI接口來對內容做預處理，可以將占比為絕大多數的正常內容過濾掉，而只留下極少數判定為疑似不健康的內容，需要審核團隊進行進一步的復查，這樣極大的減少了人工審核的工作量。

【人臉識別】

人臉識別現在在人工智能這塊應用較為廣泛，如身份認證、手機刷臉、系統登錄等；另外是人臉的搜索，比如在一段視頻里快速確定有沒有出現某個關鍵人物，或一個圖片集里有沒有包含這樣的人。人臉識別主要的流程一般如下，首先對這個圖片進行人臉的檢測，然后提取關鍵點，包括眼睛、鼻子、嘴巴、耳朵、輪廓等，切分處理以后，再給到卷積網絡提取特征，最后再做人臉識別，目前我們在公司考勤、政治任務識別方面已有相關的應用。

【自動標簽】

針對用戶自主上傳的圖片，自動標簽則發揮出重要作為。用戶在上傳圖片的時候，往往只會標注一到兩個關鍵詞，對圖片進行描述，而圖片里邊包含的大量其他的內容和信息，是沒辦法檢索出來的，因為現在很多后臺的搜索是基于關鍵字的。通過計算機視覺的場景識別功能，可以很好的將圖片的隱藏信息挖掘出來，讓圖片有更多的關鍵字，能夠被更多的場景檢索出來，發揮其作用。

【字幕識別】

字幕識別的應用非常直接而實用，例如身份證、發票、名片的識別，可以減少手寫錄入的工作量，而類似視頻字幕識別這種，則可以幫助計算機更好地去理解視頻的內容。

【同聲傳譯】

目前國內企業出海風潮正盛，利用人工智能實現同聲傳譯可以幫助跨國公司、員工進行不同語種間的交流。在視頻直播這一塊，我們做了這樣的系統，可以在視頻直播傳輸前，把里面的音頻提取出來，做切片處理以后，把語音識別出來，經過翻譯系統后輸出字幕并打上時間戳，播放終端拿到字幕和視頻數據后，做一次時間戳同步，在播放端進行展示。

這個系統主要有兩個難點：一是它是經過了兩次計算機的識別，第一次是語音的識別，第二次是翻譯，這會有一個誤差的累積；二是這種場景的實時性要求比較高，比如說字幕的翻譯有點滯后，視頻數據又需要比較低的延遲，這樣體驗會非常不好。這也是這款產品正在優化的兩個方向。

人工智能私有化部署應用

以上提及的是聚焦于公有云平臺的人工智能的應用，而我們在跟很多客戶的交流中，因為政策以及保密的原因，他們不希望將數據放到公有云上，在他們內部也有不少服務器、視頻采集設備等硬件資源，希望能夠直接利用上。針對這樣的需求，我們會建議使用私有化部署的方案。

UCloud平臺做了兩件事去實現私有化部署的方案：第一是組件化，我們內部有很多功能，比如直播、存儲、錄制、截圖等，我們將這些功能剝離開，做成各種組件的形式。這樣有一個好處，組件可以靈活搭配，用戶需要什么功能就部署什么組件，如果對某些功能有個性化需求，只要簡單修改對應組件的功能就可以了。第二是我們提供訓練好的模型，部署到客戶的私有環境中，目前這個模型是在我們公有云上訓練好的。

私有化部署在自動考勤系統等場景已經有成熟的應用，我們也在不斷挖掘更多可應用的場景，希望運用人工智能技術讓我們的工作更便利、生活更美好。