【51CTO.com原創稿件】 隨著互聯網+的深入發展，線下零售業正迎來顛覆式發展、重新洗牌的轉折。

[[218255]]

作為在行業中實踐線上線下融合的企業，蘇寧已經掌握了智慧零售的先發優勢，迎來了全面爆發的時刻。

2018 年，蘇寧更是提出了“造極”的發展方向，意在以極客精神，極速的方式，創造出智慧零售的極物。

“北斗”系統作為一款集大數據、人工智能于一體的智慧零售產品，將為蘇寧線下發展提供強大的技術支撐。

“北斗”系統建立的初衷

對于線下門店，經營好壞的關鍵因素是什么？總的來說，是門前客流、進店客流、成交單數、銷售額、客單價等指標。

而其中，尤為重要的便是客流，這是實現銷售經營目標的前提。客流量不僅僅影響店鋪運營策略，更是成為投資決策、發展前景和經營效果評估的重要依據。

通過客流數據分析，我們不僅可以了解場所實時客流狀態并預測未來客流發展情況，而且能夠更好地制定針對性營銷策略、調整商品、廣告擺放展位、顧客動線設計等等。

基于此實際需求，蘇寧“北斗”系統是一款為門店服務研發的數據產品，依據線下監控視頻數據資源，利用視頻圖像識別技術，融合視頻處理、圖像處理、模式識別以及人工智能等多個領域的技術，徹底顛覆了一直以來依賴人工統計或傳統方式的數據統計方式。

并且提供了一套更為精準、細化的門店顧客分析數據，為門店的智慧經營提供一套技術解決方案。

“北斗”系統平臺架構演進

統計客流一直是門店經營需求中的一個痛點，作為經營管理者，每天首先也是最關注的是每小時、每天、每周來了多少顧客、出去多少顧客、在店多少顧客等等。

為了獲取這份數據，蘇寧在這塊需求上大致經歷了以下三個階段：

人力計數

早期，我們為了獲取各個門店的客流數據，每個門店都會在門口安排一個人員進行人工統計，然后再通過后臺系統進行維護，這樣總經理、店長等管理人員可以大概獲取到一個進店人次的數據。

然而缺點也很快暴露出來：

• 統計人員很難做到長時間注意力保持高度集中，導致容易存在漏數。
• 成本方面，一個門店多則幾十個門，少則 4-5 個門，人力薪資成本比客流設備投入高很多。

這樣做不僅耗費人力而且工作量大，不能形成成套體系的數據積累和參考依據，因此，這個方案在推行的過程中慢慢被大家放棄了。

WiFi 計數

隨著互聯網的發展，WiFi 技術遍地開花后，每個門店開始安裝免費 WiFi，讓來店顧客通過連接 WiFi 的方式實現來店顧客的計數功能。

在技術上采取手機 MAC 地址進行人數統計，還可以根據手機的 IP 進行顧客在店內行動軌跡的追蹤以及判斷新老顧客。

但弊端是：

• WiFi 客流統計需要在監測范圍保證 WiFi 信號都能覆蓋到，并且信號要穩定。
• 顧客的手機要連接上 WiFi 信號才能夠作為統計的來源。
• WiFi 信號的偏移較大，偏移在 6-10 米，這樣會造成數據失真。

這三點就嚴重影響了數據的準確性，無法保障數據的參考價值和分析意義，從而不具備數據的指導意義。

視頻計數

隨著人工智能技術的發展和成熟，圖像識別技術漸漸走向商化應用，依據門店現有的監控數據，利用視頻識別技術，可以實現將視頻畫面的活動物體提取、識別、跟蹤等，從而獲取到完整的顧客在線下的用戶行為數據。

該數據不僅全面、完整，而且還覆蓋了全場景的數據，有效的支撐了數據化的運營管理，為門店的運營提供強有力的數據依托。

[[218256]]

視頻計數的關鍵主要有以下三個環節：

人臉檢測

以門店部署的高清攝像頭采集的視頻流作為輸入，可以實時檢測跟蹤畫面中的 20 個目標人臉。

同時，由于深度學習算法的應用，對人臉的多種角度、多種姿態甚至局部的遮擋，都能輕松檢測、跟蹤。

***人臉采集

這也是一個容易忽視的環節，門店攝像頭采集視頻流實際每秒產生 30 幀的畫面，當有人員經過的時候，其實采集了大量的人臉捕獲數據。

我們通過跟蹤算法跟蹤每個人員的軌跡，采集一組視頻幀截圖，然后通過人臉朝向分析、圖像模糊檢測分析、人臉質量打分模型從中挑選出一張質量***的人臉照片，并進入到下一環節。

人臉識別比對階段

人臉識別技術已相對成熟，隨著深度學習技術在人臉識別應用中的不斷成熟，各家人臉識別算法之間的準確率的差異僅體現在小數點后幾位。

LFW (Labeled Face in Wild) 是人臉識別研究領域的最重要人臉圖像評測集合之一，其包括 5749 個人的人臉數據，均來自實際場景，包含自然的光照、表情、姿勢、遮擋等干擾因素，甚至包含年齡變化、化妝等復雜的干擾因素。

目前蘇寧大數據中心算法團隊在該數據集上達到 99.70% 的準確率，與目前該數據集***指標 99.83% 差距很小，達到行業***水準。

能夠取得這樣的準確度，有三個決定性的要素：算法模型、訓練數據、計算能力。

對于線下門店這種大規模的開集合的人臉識別應用，算法模型面臨的***挑戰就是大規模一對多人臉識別準確率的問題。

為了解決這個問題，首先，我們將標準 SoftmaxWithLoss 中的 inner product 去除偏執項，同時對權重 w 和神經元 x 進行 L2 norm，將問題轉換為角度約束的問題。

其次，我們通過改進損失函數，增加 angle margin，來提高相同 id 的類內相似度，降低不同 id 之間的類間相似度，通過這種 angle margin 的改進，我們可以壓縮大部分 id 的人臉特征子空間。

***，我們認為人臉識別的難點，比如極為相似的人臉識別問題甚至雙胞胎的人臉識別問題，用***全局的約束是無法滿足 angle margin 分類條件的，這也是為什么 angle-softmax 訓練的時候 loss 會很大的原因。

針對 angle-softmax 訓練的時候 loss 會很大這一問題，我們增加了 metric learning 進行微調，針對 hard example 進一步添加局部約束。

具體方法是使用三重損失函數 tripletloss，使用三幅圖像集合：固定 anchor A、正例圖像 P、反例圖像 N 進行訓練，目的是讓 A 與 P 的距離小于 A 與 N 的距離。

通過以上步驟構建訓練的基于深度殘差卷積神經網絡以及相似 id 差異正則優化構建的網絡模型，結合我們算法自動預標注的人臉樣本以及少量的人工校準構建的***別的訓練數據集，我們將我們的人臉識別準確率提升了 7 個百分點左右。

除了模型的改進，同時我們有 6 臺高性能的 GPU 服務器組成的集群可以快速驗證迭代算法，使我們的算法模型更新速度從幾周更新一次到十幾小時更新一次，讓不同的算法合成適配不同的場景，讓算法更精準。

蘇寧擁有 18 萬員工以及幾千家門店，2018 年還計劃增加 5000 家門店，通過人臉識別技術在蘇寧內部以及線上線下的應用，我們的人臉識別算法能力還會進一步的迭代提升。

“北斗”系統建設的關鍵點

蘇寧“北斗”系統使用了背景模型 + 人臉識別+ 3D 深度信息+多目標跟蹤 + 深度學習網絡的整套算法解決方案。

在目標跟蹤算法上，我們對當前的流行算法做了詳細的研究。KCF 是一種近期流行的目標跟蹤算法。

該算法是在跟蹤過程中訓練一個目標分類器，使用目標分類器去檢測下一幀預測位置是否是目標，之后再使用新的檢測結果去重新訓練，以獲得新的目標分類器。

卡爾曼濾波是一種經典的濾波方法，它是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行***估計的算法。

我們將單目標跟蹤的 KCF 算法擴展到多目標跟蹤。在客流統計系統中，在不改變其他框架的基礎上，沿用原有的前景建模和匈牙利匹配。

以前幾幀檢測出的目標為跟蹤目標，將多目標 KCF 跟蹤算法融入其中，實現多目標的同時跟蹤。

經過詳細比較發現，在多目標跟蹤時，KCF 算法存在速度上的缺陷，占用時間較長，難以滿足我們實時性的要求，因而我們最終還是選用了卡爾曼濾波作為我們的基礎跟蹤算法。

在識別算法上，我們以基于深度學習的 SSD 學習網絡為基礎，根據實際情況，進行了進一步的優化和改進，并整合到我們的整個北斗系統當中。

依據蘇寧強大的大數據計算能力和人臉識別技術，通過分析店外和店內的用戶屬性及行為信息，不僅可以為店鋪的智能推薦、營銷、服務、以及店鋪的購物動線、商品及貨架陳列，提升更好的導購服務。

還能促使線下門店實現數據化和智能化，改變門店運營方式，讓門店具有思考能力，擁有一顆智能的“大腦”。

店外顧客關注

“進店率”是影響門店是否具備吸引力的一個重要指標，我們如何有效的分析“過客”是怎么樣的一個群體，對于目前的線下場景還是一個“黑盒”。

如何獲知路過消費者有多少，并且他們的特征畫像是什么，目前對于門店經營管理者也是一個急切的需求。

而蘇寧大數據團隊利用識別技術，結合人臉識別、人體輪廓跟蹤、人臉特征點等算法技術，有效的分析出了路過人群的數量、群體規模、男女和性別分類，以及進店人群的特征等數據，為門店經營者制定個性化的營銷策略提供了數據支撐和保障。

店內顧客關注

對于進店顧客來說，顧客的來店動機、行為軌跡、關注熱點、購買意向是門店管理者對于到店顧客的另一大痛點要求，如何實現這塊數據的采集、分析和應用也是“北斗”系統的一大特色。

在算法的層面上，為實現***的效果，需要配合安裝特定攝像頭，并實現攝像頭安裝高度和角度的精準控制。

為了節省成本，我們使用了店內原有的監控攝像頭，不改變原有的任何安裝高度和角度。

在算法上，我們首先研究了基于多通道特征的 ACF 算法，將算法進行了工程化的實現，對算法的精度和速度進行了測量。但是發現該算法應用在我們的場景中時，精度不能讓人滿意。

為了實現更高精度與性能的要求，我們使用了深度學習中的小網絡系統，并與檢測算法中的深度學習 SSD 模型相結合。

通過視頻的采集，將視頻中的目標進行具體的標注，算法的微調，訓練自己的模型等步驟，實現了熱力圖中的相關功能。在計算精度和計算速度上都達到了原定的要求。

“北斗”系統的智能化服務

“北斗”系統下一步將布局的智能化服務包括：

• 智能導購：老客的識別，通過提取顧客每次來店的特征點，當顧客下次到來的時候，根據其上期的數據為其精準服務；新客的引導，根據新客到店關注的信息、行進的速度進一步預測顧客需要什么，為其精準推薦。
• 智能支付：當顧客選好自己喜好的商品后，只實現人臉自動支付，提升服務速度和質量。
• 智能預測：根據每日、每周、每月顧客對商品的關注度，合理調整商品出樣及庫存鋪貨，將為用戶提供更喜歡的商品和更短的取貨服務。
• 智能防控：重點人群監控、踏板監控、晚間的燈光開關監控、火災監控等，為顧客的人身安全和門店的財產安全保駕護航。

通過“北斗”系統，依據蘇寧大數據技術及視覺算法將為智能零售注入智慧“大腦”，蘇寧門店將會越來越更懂你，打造“知人知面更知心”的智慧門店，為用戶創造***體驗，打造***服務。

[[218263]]

曹林龍，蘇寧易購大數據技術專家，目前主要負責計算機視覺識別及分析在蘇寧的應用落地。在大數據平臺工具和圖像識別應用等方面擁有多年的實踐經驗，曾負責過蘇寧統一數據報表平臺、大數據平臺的建立，主導過視頻分析、商品識別等技術的應用。在數據營銷方面經驗豐富，喜歡鉆研、研究和實踐業界前沿的數據處理和技術，展現數據中蘊含的價值。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】