Labs 導(dǎo)讀

目前，在公共場景和個人應(yīng)用場景中，監(jiān)控攝像頭安裝總數(shù)已經(jīng)超過了1.75億，但大部分均為普通攝像頭，通過監(jiān)控錄像實時存儲和事件發(fā)生后調(diào)取查閱的方式被使用，它們?nèi)鄙僮灾髡J(rèn)知和決策的“大腦”，無法避免危險事件趨于惡化。在此背景下，具有智能視頻行為分析功能的跨境追蹤系統(tǒng)就顯得尤為重要。本文將從跨鏡追蹤系統(tǒng)內(nèi)部實現(xiàn)的角度展開論述，介紹跨鏡追蹤系統(tǒng)的核心功能及其應(yīng)用場景。

1、跨鏡追蹤技術(shù)背景

跨鏡追蹤系統(tǒng)，主要利用行人重識別技術(shù)依據(jù)人物穿著、體態(tài)、發(fā)型等信息來判斷圖像或視頻序列中是否存在特定的行人，可與人臉識別技術(shù)相結(jié)合，解決跨鏡頭場景下在人臉被遮擋、距離過遠(yuǎn)時的人物身份識別。 

2、跨鏡追蹤的研究意義

跨鏡追蹤系統(tǒng)通過實時、自動化分析視頻流中人物身份信息，能夠?qū)崿F(xiàn)對特定人物跨時間、跨空間的布控追蹤和即時定位，對公安監(jiān)視追蹤嫌疑人、物業(yè)排查可疑人員等提升工作效率均有幫助，能減少因時間成本造成的事態(tài)惡劣化，且能極大程度上避免工作人員因倦怠、脫崗等因素造成誤報和不報的情況，可切實提高監(jiān)控區(qū)域的安全防范能力。由于監(jiān)控系統(tǒng)場景中人臉多數(shù)情況下不清晰，因而業(yè)界普遍采用行人重識別(Person Re-Identification, 簡稱ReID)算法實現(xiàn)跨鏡追蹤，其對人臉清晰度、人臉角度、攝像頭位置的敏感度等方面要求較人臉識別要低一些。在今年爆發(fā)的新冠肺炎疫情期間，基于ReID技術(shù)的一套跨鏡追蹤系統(tǒng)就為疫情防控立下了功勞，因此ReID算法也備受關(guān)注。

3、跨鏡追蹤的研究難點

配合式場景人臉識別近幾年已逐步商用化，但在視頻監(jiān)控場景下，人臉質(zhì)量往往不高或存在人臉不可見現(xiàn)象，因此多數(shù)情況下人臉識別無法發(fā)揮作用，而ReID算法實際場景下準(zhǔn)確率也較低，仍存在不少研究難點，總結(jié)如下：

1、行人數(shù)據(jù)嚴(yán)重缺失

由于涉及到隱私，且收集行人數(shù)據(jù)時需要在不同鏡頭下采集同一人同時間段內(nèi)出現(xiàn)的畫面，導(dǎo)致數(shù)據(jù)集構(gòu)建受到限制，數(shù)據(jù)的缺失是跨鏡追蹤技術(shù)無法快速突破的首要難點。

2、實際應(yīng)用場景復(fù)雜

相比于人臉，人體由于具有多個肢體關(guān)節(jié)點，在實際監(jiān)控場景下人物會以各種姿態(tài)、角度出現(xiàn)在鏡頭中，增加了人體檢測和識別的難度，加上不同時間段光線的差異、建筑物的遮擋等，都對人物身份的準(zhǔn)確識別提出了挑戰(zhàn)。

3、變裝場景下失效

主要依靠提取人物衣貌外觀特征來實現(xiàn)人體識別的行人重識別技術(shù)無法直接用在變裝場景下(如季節(jié)性換裝)，目前只能支持小范圍內(nèi)的短時搜索。

4、跨鏡追蹤系統(tǒng)構(gòu)成

為克服ReID算法自身限制，充分發(fā)揮其優(yōu)勢，實現(xiàn)對視頻畫面中人與物的實時定位，我們采用將人臉及人體技術(shù)相結(jié)合的思路。通過將人臉與人體技術(shù)相融合，并結(jié)合動作識別，使系統(tǒng)能通過攝像機實時自動的識別人物，發(fā)現(xiàn)“警情”并主動“分析”，對已經(jīng)出現(xiàn)或?qū)⒁霈F(xiàn)的安全威脅，及時向安全防衛(wèi)人員發(fā)出警報，切實提高監(jiān)控區(qū)域的安全防范能力。該系統(tǒng)主要涉及到如下技術(shù)點：

• 人臉識別
• 行人重識別
• 動作識別
• 動態(tài)人體庫更新
• 人臉屬性及人體屬性識別
• 多路流并發(fā)異步處理
• 陌生人員庫動態(tài)更新

5、跨鏡追蹤系統(tǒng)建設(shè)

跨境追蹤系統(tǒng)通過接入經(jīng)過標(biāo)準(zhǔn)統(tǒng)一化的RTMP視頻流，采用跳幀處理機制對上述多種算法功能模塊進行多線程異步調(diào)用，同時通過共享內(nèi)存記錄當(dāng)前實時畫面幀來實現(xiàn)視頻畫面的實時解析處理，系統(tǒng)業(yè)務(wù)流程圖如下所示： 

下面主要針對幾個核心模塊做詳細(xì)技術(shù)介紹。

6、動態(tài)人臉識別模塊

人臉識別處理流程圖如下所示： 

不同于閘機、門禁等靜態(tài)刷臉場景，視頻監(jiān)控屬于動態(tài)人臉識別應(yīng)用場景，人物運動模糊和人臉遮擋的情況經(jīng)常出現(xiàn)，人臉角度多為偏俯拍情況，光線也更復(fù)雜。目前在動態(tài)監(jiān)控場景下，業(yè)界人臉識別算法萬分之一誤識率下的準(zhǔn)確率也只達90%左右，相比靜態(tài)場景的99.9%還相差較大。但由于視頻監(jiān)控領(lǐng)域不涉及到支付交互和認(rèn)證交互，業(yè)務(wù)場景本身對人臉識別的準(zhǔn)確度具有較為寬限的容錯度。針對動態(tài)場景下的人臉識別準(zhǔn)確率過低的問題，我們主要從人臉檢測和低質(zhì)量人臉識別兩個維度進行改善。

1、增強人臉檢出率

數(shù)據(jù)準(zhǔn)備：為增加動態(tài)場景下的人臉檢出率，模擬動態(tài)人臉識別場景數(shù)據(jù)，在訓(xùn)練數(shù)據(jù)中增加由多種旋轉(zhuǎn)角度因子生成的圖片，包括側(cè)臉、正臉、旋轉(zhuǎn)臉，并分別增加暗光、強光、模糊、遮擋等影響因素。

網(wǎng)絡(luò)模型：網(wǎng)絡(luò)設(shè)計上采用基于SSD的多尺度特征融合方法，以解決跨尺度及人臉過小的檢測問題，并結(jié)合Inception和RFBs的思想，增加多類型卷積核，使特征提取信息豐富化，對光線、遮擋、模糊的適應(yīng)能力提升。

2、低質(zhì)量人臉識別率提升

數(shù)據(jù)準(zhǔn)備：人臉識別算法極大程度上受限于數(shù)據(jù)量，我們采用增加旋轉(zhuǎn)、平移、遮擋、光照、模糊因子等方式生成自造人臉數(shù)據(jù)，以訓(xùn)練得到更高性能的模型。

通過自造數(shù)據(jù)可以豐富每個人物id的數(shù)據(jù)廣度，此外為同時有效提升戴口罩面部識別效果，基于面部關(guān)鍵點算法擬合出人物戴口罩圖片，如下所示： 

網(wǎng)絡(luò)模型：在網(wǎng)絡(luò)模型結(jié)構(gòu)設(shè)計上，基于arcloss進行人臉特征提取訓(xùn)練，為進一步提升戴口罩人臉的識別性能，在訓(xùn)練人臉識別時增加人臉遮擋判斷項，在面部有遮擋時，能夠?qū)⑻卣魈崛￡P(guān)注點集中在未遮擋部位。同時，建立業(yè)務(wù)層面輔助措施作為備選，采用雙底庫策略和多模型策略，針對戴口罩情況單獨做識別處理。

戴口罩情況人臉識別算法優(yōu)化策略示意

7、行人重識別模塊

行人重識別算法的原理同人臉識別類似，通常采用表征學(xué)習(xí)或者度量學(xué)習(xí)得到特征提取模型，目前在公開數(shù)據(jù)集Market1501上算法的Rank-1最高記錄在98%左右，業(yè)界平均水平也已達到92%左右。但在實驗環(huán)境下一定程度上存在過擬合，實際場景下的效果仍不理想。

1、與人臉識別算法相結(jié)合擴大使用場景

為達到較好的行人重識別效果，我們將其與人臉識別相結(jié)合，實現(xiàn)實時動態(tài)創(chuàng)建行人庫，滿足對目標(biāo)人物的360度追蹤，使其在變裝場景下也有效：

• 在換裝場景下，基于人臉識別創(chuàng)建人體圖像庫，在監(jiān)測到同一人衣著不同時進行行人庫的及時更新;
• 在人臉分辨率過低、人臉不可見的情況下，基于人體重識別進行人物追蹤定位，使系統(tǒng)滿足在復(fù)雜場景下的人物實時追蹤。 

同時增加人臉屬性、人體屬性以得到一些輔助標(biāo)簽，減小搜索范圍，使在人臉不完全可見的情況下，ReID仍能有效工作。

2、模型識別率提升

在實驗中仍然從兩個維度提高模型準(zhǔn)確率，一個是數(shù)據(jù)，一個是訓(xùn)練策略。

數(shù)據(jù)準(zhǔn)備：為增加訓(xùn)練數(shù)據(jù)，我們結(jié)合語義分割算法，采用將人體著裝進行區(qū)域劃分后重新著色的方式，增加人物id，但這種方法依賴于語義分割算法的準(zhǔn)確性，且出現(xiàn)不同id衣服顏色重復(fù)的情況會造成干擾，無法大批量生成。另外我們使用不同的行人重識別數(shù)據(jù)集分別作為源域和目標(biāo)域訓(xùn)練風(fēng)格遷移網(wǎng)絡(luò)，將不同數(shù)據(jù)集中不同鏡頭拍攝的數(shù)據(jù)風(fēng)格進行相互轉(zhuǎn)換，然后進行隨機數(shù)據(jù)擦除處理，由此數(shù)據(jù)量可獲得成倍增加。

模型訓(xùn)練及策略：在網(wǎng)絡(luò)訓(xùn)練中，采用ID分類損失與Triplet損失相結(jié)合的訓(xùn)練方式，使模型既能兼顧類間距離，又能同時收斂類內(nèi)距離。在推理測試中，采用余弦距離計算的方式，其更易于區(qū)分提取到的人體特征向量，相比歐式距離的結(jié)果，rank-1指標(biāo)可提升1%。

8、動態(tài)人臉庫管理模塊 

通過動態(tài)創(chuàng)建人臉庫的策略，可以提升對陌生人員的管控效率，將陌生人員的記錄查詢范圍降低了至少2個數(shù)量級，同時可實現(xiàn)對任意目標(biāo)可疑人員的快速查找與定位分析。由于陌生人員的記錄數(shù)據(jù)量會隨時間積累逐漸增多，直接在所有記錄中查詢陌生人的識別記錄耗時非常大。通過在人臉識別后增加質(zhì)量判斷，將人臉質(zhì)量合格的陌生人員添加至陌生人庫中進行管理，此方式能夠很大程度上節(jié)約搜索耗時。當(dāng)搜索陌生人記錄時，只需要將待搜索人員圖片與陌生人底庫做一次特征匹配即可，可實現(xiàn)百萬量級圖片全量搜索、秒級響應(yīng)。

9、小結(jié)

跨鏡追蹤系統(tǒng)作為智能化安防、智能化監(jiān)控場景下的通用解決方案，已在中國移動智慧家庭運營中心園區(qū)內(nèi)落點試用，后續(xù)會借助中國移動運營商的市場和品牌優(yōu)勢，打通與更多的攝像頭及硬件設(shè)備廠商在各個環(huán)節(jié)的業(yè)務(wù)協(xié)同合作渠道，通過省公司的落地輔助，打造一套軟硬一體化的智能化監(jiān)控管理體系，并可從智慧園區(qū)、智慧社區(qū)拓展到居民社區(qū)、辦公樓宇、工業(yè)園區(qū)、旅游景區(qū)、學(xué)校園區(qū)等場景中，增強人員管控和區(qū)域安全性，為打造良好社會環(huán)境、打造智能化生態(tài)圈持續(xù)發(fā)力。

【本文為51CTO專欄作者“移動Labs”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】

戳這里，看該作者更多好文