京東發布全球首個“發絲級”全自動摳圖軟件么么照發力買家秀
2018 年 4 月，京東Y事業部對外發布全球首款全自動智能圖片合成處理軟件——么么照。么么照可實現“發絲級”識別精度的全自動摳圖效果，能夠滿足于買家秀、社交、海報制作等應用場景，未來還將覆蓋邀請函、電子名片、直播等靜態圖片及動態視頻的應用。給用戶帶來更豐富有趣的玩法及全新的互動體驗。
么么照以人像摳圖為核心，可實時更換背景/貼紙，并支持全身效果合成，由來自京東美國硅谷的研發團隊提供了領先的 AI 及 AR 技術，可創造出內容更加豐富的創意表達。極低的學習門檻可輕松上手進行創作。目前么么照已發布 iOS 及 Android 版本，用戶可前往應用商店下載體驗。
“發絲級”全自動摳圖，讓創意信手拈來
相比目前市面上種類繁多的圖片美化軟件，大部分的摳圖 App 軟件，幾乎都是半自動化的，需要用戶手動框出人物區域，用戶們在選取人物或其他對象時經常有不小的麻煩，需要消耗一定的時間。
么么照解決了用戶這一煩惱，規避了其他半自動摳圖軟件效果差不好控制的問題。采用人工智能算法，將人與復雜背景自動分割，智能識別人體部位與動作，達到發絲級識別精度，用戶可通過使用 app 內置主題背景或自由上傳背景，實現萬千虛擬場景自由更換，賦予用戶沉浸式的深入體驗，讓圖片處理變得富有創意。
（照片經模特周芝伊授權）
么么照在摳圖方面采用 state of art 的深度學習算法對照片進行語義分割，可精準分割出人像與背景，并返回一個由浮點數組成的字符串，字符串內的每個浮點數對應原圖的一個像素，浮點數的值代表相應的像素是否在人體輪廓內的置信度。
為了使用戶獲得***的用戶體驗，么么照針對手機端和服務器端分別采用了輕量級網絡和高精度網絡來做上百萬的數據訓練，做到了既精準又輕量化的效果。利用深度學習中的 Encoder-decoder 模型結合提取到的全局和局部特征，能夠對每個像素進行人體、背景分類，得到高精度的人體分割，***組合多種后處理方法，對神經網絡得到的人體模型，做進一步的細節優化，簡單背景下深知可做到 PhotoShop 級別的精度。
為了增加圖片的趣味性，么么照還在摳圖選取過程中加入了人體關鍵點檢測，如當檢測到圖像中人體肩膀的位置，可自動搭配翅膀等夢幻元素，還可自動更換背景、識別背景顏色。同時通過后臺算法可以檢測到圖像中服裝屬性、背景圖元素，根據提取的標簽信息智能匹配語料，未來可一秒鐘寫好配圖文章。此項技能作為 AI 技術在圖片領域的拓展，能夠提取用戶全身照片里服裝風格信息，可用于用戶喜好數據平臺的搭建。
進擊的娛樂化趨向，動態視頻實現一鍵摳圖
根據 2015 CNNIC 數據顯示，截止 2015 年底，在中國 30 歲以下的網民占比超過一半（54%），20 歲以下網民占比 24.1%，互聯網娛樂繼續向低齡群體滲透。這些崛起的 90 后是各大平臺都無法忽視的新興消費勢力，日益成為影響中國互聯網未來發展的關鍵力量。從供需兩端看，90 后最關注的行業是文娛，而短視頻又是對文娛類產業影響***的部分，深入到產品層面的改變，在產品設計及運營策略等方面各大企業也都在迎合著 90 后，么么照正是抓住了年輕群體娛樂化的需求，在市面上靜態摳圖尚不精準的情況下率先進行了動態視頻摳圖處理的研發。
么么照能夠檢測到圖像中所包含人體中臉的各個關鍵點位置，捕捉用戶臉部姿態，進行人臉實時視頻摳圖，完成 82 個人臉關鍵點定位檢測深度模型，服務器 GPU 可達 322 fps，手機端（iphone7）GPU 為 33 fps。[H1]在動態摳圖方面，后臺算法會根據視頻輸入的每一幀計算出一張二值掩蔽圖，通過對大批量視頻進行分割訓練，保證幀之間的連續性，加上對沙漏型分割網絡架構的改進，能夠提高并解決視頻在手機端的速度問題。
么么照在動態摳圖過程中可以識別到點頭、搖頭、手勢等動作，使用神經網絡能夠做到毫秒級的動效跟蹤和貼紙展示，此外在移動中拍攝識別依舊準確。作為全身視頻的新穎玩法，適用于體感游戲在短視頻平臺上的應用，能夠讓用戶真實體驗線下 Cosplay，同時可以進行一鍵分享社交圈，實時互動傳播。
未來通過與 AR 技術結合，么么照針對用戶對于照片效果美化的需求，還將加入“人臉關鍵點檢測”萌顏+實時摳圖功能，并通過美顏與濾鏡賦予萌顏效果，不管是靜態圖片還是動態視頻都能達到***的用戶視覺效果。
助力京東買家秀，用數據看懂你的美
么么照一方面可滿足用戶對照片美化處理的個性化需求外，將作為京東在買家秀上的重要基礎工具來提供入口，消費者可通過么么照的處理對商品進行更個性話的評價展示，增強B端與C端的互動，提高轉化率。同時么么照通過對用戶穿衣風格的識別可不斷積累用戶對服裝搭配，色彩偏向等數據，在與京東用戶數據打通后，可圍繞數據標簽展開精準且具有針對性的營銷活動，提供給用戶更多個性化推薦，以及更適合的活動策略。
