跨鏡追蹤“智”眼識人技術策略研究及實現
Labs 導讀
目前，在公共場景和個人應用場景中，監控攝像頭安裝總數已經超過了1.75億，但大部分均為普通攝像頭，通過監控錄像實時存儲和事件發生后調取查閱的方式被使用，它們缺少自主認知和決策的“大腦”，無法避免危險事件趨于惡化。在此背景下，具有智能視頻行為分析功能的跨境追蹤系統就顯得尤為重要。本文將從跨鏡追蹤系統內部實現的角度展開論述，介紹跨鏡追蹤系統的核心功能及其應用場景。
1、跨鏡追蹤技術背景
跨鏡追蹤系統，主要利用行人重識別技術依據人物穿著、體態、發型等信息來判斷圖像或視頻序列中是否存在特定的行人，可與人臉識別技術相結合，解決跨鏡頭場景下在人臉被遮擋、距離過遠時的人物身份識別。
2、跨鏡追蹤的研究意義
跨鏡追蹤系統通過實時、自動化分析視頻流中人物身份信息，能夠實現對特定人物跨時間、跨空間的布控追蹤和即時定位，對公安監視追蹤嫌疑人、物業排查可疑人員等提升工作效率均有幫助，能減少因時間成本造成的事態惡劣化，且能極大程度上避免工作人員因倦怠、脫崗等因素造成誤報和不報的情況，可切實提高監控區域的安全防范能力。由于監控系統場景中人臉多數情況下不清晰，因而業界普遍采用行人重識別(Person Re-Identification, 簡稱ReID)算法實現跨鏡追蹤，其對人臉清晰度、人臉角度、攝像頭位置的敏感度等方面要求較人臉識別要低一些。在今年爆發的新冠肺炎疫情期間，基于ReID技術的一套跨鏡追蹤系統就為疫情防控立下了功勞，因此ReID算法也備受關注。
3、跨鏡追蹤的研究難點
配合式場景人臉識別近幾年已逐步商用化，但在視頻監控場景下，人臉質量往往不高或存在人臉不可見現象，因此多數情況下人臉識別無法發揮作用，而ReID算法實際場景下準確率也較低，仍存在不少研究難點，總結如下：
1、行人數據嚴重缺失
由于涉及到隱私，且收集行人數據時需要在不同鏡頭下采集同一人同時間段內出現的畫面，導致數據集構建受到限制，數據的缺失是跨鏡追蹤技術無法快速突破的首要難點。
2、實際應用場景復雜
相比于人臉，人體由于具有多個肢體關節點，在實際監控場景下人物會以各種姿態、角度出現在鏡頭中，增加了人體檢測和識別的難度，加上不同時間段光線的差異、建筑物的遮擋等，都對人物身份的準確識別提出了挑戰。
3、變裝場景下失效
主要依靠提取人物衣貌外觀特征來實現人體識別的行人重識別技術無法直接用在變裝場景下(如季節性換裝)，目前只能支持小范圍內的短時搜索。
4、跨鏡追蹤系統構成
為克服ReID算法自身限制，充分發揮其優勢，實現對視頻畫面中人與物的實時定位，我們采用將人臉及人體技術相結合的思路。通過將人臉與人體技術相融合，并結合動作識別，使系統能通過攝像機實時自動的識別人物，發現“警情”并主動“分析”，對已經出現或將要出現的安全威脅，及時向安全防衛人員發出警報，切實提高監控區域的安全防范能力。該系統主要涉及到如下技術點：
- 人臉識別
- 行人重識別
- 動作識別
- 動態人體庫更新
- 人臉屬性及人體屬性識別
- 多路流并發異步處理
- 陌生人員庫動態更新
5、跨鏡追蹤系統建設
跨境追蹤系統通過接入經過標準統一化的RTMP視頻流，采用跳幀處理機制對上述多種算法功能模塊進行多線程異步調用，同時通過共享內存記錄當前實時畫面幀來實現視頻畫面的實時解析處理，系統業務流程圖如下所示：
下面主要針對幾個核心模塊做詳細技術介紹。
6、動態人臉識別模塊
人臉識別處理流程圖如下所示：
不同于閘機、門禁等靜態刷臉場景，視頻監控屬于動態人臉識別應用場景，人物運動模糊和人臉遮擋的情況經常出現，人臉角度多為偏俯拍情況，光線也更復雜。目前在動態監控場景下，業界人臉識別算法萬分之一誤識率下的準確率也只達90%左右，相比靜態場景的99.9%還相差較大。但由于視頻監控領域不涉及到支付交互和認證交互，業務場景本身對人臉識別的準確度具有較為寬限的容錯度。針對動態場景下的人臉識別準確率過低的問題，我們主要從人臉檢測和低質量人臉識別兩個維度進行改善。
1、增強人臉檢出率
數據準備：為增加動態場景下的人臉檢出率，模擬動態人臉識別場景數據，在訓練數據中增加由多種旋轉角度因子生成的圖片，包括側臉、正臉、旋轉臉，并分別增加暗光、強光、模糊、遮擋等影響因素。
網絡模型：網絡設計上采用基于SSD的多尺度特征融合方法，以解決跨尺度及人臉過小的檢測問題，并結合Inception和RFBs的思想，增加多類型卷積核，使特征提取信息豐富化，對光線、遮擋、模糊的適應能力提升。
2、低質量人臉識別率提升
數據準備：人臉識別算法極大程度上受限于數據量，我們采用增加旋轉、平移、遮擋、光照、模糊因子等方式生成自造人臉數據，以訓練得到更高性能的模型。
通過自造數據可以豐富每個人物id的數據廣度，此外為同時有效提升戴口罩面部識別效果，基于面部關鍵點算法擬合出人物戴口罩圖片，如下所示：
網絡模型：在網絡模型結構設計上，基于arcloss進行人臉特征提取訓練，為進一步提升戴口罩人臉的識別性能，在訓練人臉識別時增加人臉遮擋判斷項，在面部有遮擋時，能夠將特征提取關注點集中在未遮擋部位。同時，建立業務層面輔助措施作為備選，采用雙底庫策略和多模型策略，針對戴口罩情況單獨做識別處理。
戴口罩情況人臉識別算法優化策略示意
7、行人重識別模塊
行人重識別算法的原理同人臉識別類似，通常采用表征學習或者度量學習得到特征提取模型，目前在公開數據集Market1501上算法的Rank-1最高記錄在98%左右，業界平均水平也已達到92%左右。但在實驗環境下一定程度上存在過擬合，實際場景下的效果仍不理想。
1、與人臉識別算法相結合擴大使用場景
為達到較好的行人重識別效果，我們將其與人臉識別相結合，實現實時動態創建行人庫，滿足對目標人物的360度追蹤，使其在變裝場景下也有效：
- 在換裝場景下，基于人臉識別創建人體圖像庫，在監測到同一人衣著不同時進行行人庫的及時更新;
- 在人臉分辨率過低、人臉不可見的情況下，基于人體重識別進行人物追蹤定位，使系統滿足在復雜場景下的人物實時追蹤。
同時增加人臉屬性、人體屬性以得到一些輔助標簽，減小搜索范圍，使在人臉不完全可見的情況下，ReID仍能有效工作。
2、模型識別率提升
在實驗中仍然從兩個維度提高模型準確率，一個是數據，一個是訓練策略。
數據準備：為增加訓練數據，我們結合語義分割算法，采用將人體著裝進行區域劃分后重新著色的方式，增加人物id，但這種方法依賴于語義分割算法的準確性，且出現不同id衣服顏色重復的情況會造成干擾，無法大批量生成。另外我們使用不同的行人重識別數據集分別作為源域和目標域訓練風格遷移網絡，將不同數據集中不同鏡頭拍攝的數據風格進行相互轉換，然后進行隨機數據擦除處理，由此數據量可獲得成倍增加。
模型訓練及策略：在網絡訓練中，采用ID分類損失與Triplet損失相結合的訓練方式，使模型既能兼顧類間距離，又能同時收斂類內距離。在推理測試中，采用余弦距離計算的方式，其更易于區分提取到的人體特征向量，相比歐式距離的結果，rank-1指標可提升1%。
8、動態人臉庫管理模塊
通過動態創建人臉庫的策略，可以提升對陌生人員的管控效率，將陌生人員的記錄查詢范圍降低了至少2個數量級，同時可實現對任意目標可疑人員的快速查找與定位分析。由于陌生人員的記錄數據量會隨時間積累逐漸增多，直接在所有記錄中查詢陌生人的識別記錄耗時非常大。通過在人臉識別后增加質量判斷，將人臉質量合格的陌生人員添加至陌生人庫中進行管理，此方式能夠很大程度上節約搜索耗時。當搜索陌生人記錄時，只需要將待搜索人員圖片與陌生人底庫做一次特征匹配即可，可實現百萬量級圖片全量搜索、秒級響應。
9、小結
跨鏡追蹤系統作為智能化安防、智能化監控場景下的通用解決方案，已在中國移動智慧家庭運營中心園區內落點試用，后續會借助中國移動運營商的市場和品牌優勢，打通與更多的攝像頭及硬件設備廠商在各個環節的業務協同合作渠道，通過省公司的落地輔助，打造一套軟硬一體化的智能化監控管理體系，并可從智慧園區、智慧社區拓展到居民社區、辦公樓宇、工業園區、旅游景區、學校園區等場景中，增強人員管控和區域安全性，為打造良好社會環境、打造智能化生態圈持續發力。
【本文為51CTO專欄作者“移動Labs”原創稿件，轉載請聯系原作者】
