第十個雙11已圓滿結束，但是技術的探索永不止步。阿里技術推出《十年牧碼記》系列，邀請參與歷年雙11大戰的核心技術大牛，一起回顧阿里技術的變遷。

近十年，機器智能在越來越多的領域走進和改變著我們的生活。在互聯網領域，機器智能則是得到了更普遍和廣泛的應用。作為電商平臺的基石，商品搜索團隊一直在打造適合電商平臺的機器智能體系。而每年雙11，則是驗證智能化進程的試金石。今天，阿里資深算法專家元涵帶你穿越時空，感受雙11場景下搜索智能化的十年演進道路。

阿里搜索技術體系演進至今天，基本形成了由offline、nearline、online三層體系，分工協作，保證電商平臺上，既能適應日常平穩流量下穩定有效的個性化搜索及推薦，也能夠去滿足電商平臺對促銷活動的技術支持，實現在短時高并發流量下的平臺收益***化。

可以看到，十年雙11的考驗后，搜索智能化體系逐漸打造成型，已經成為電商平臺穩定健康發展的核動力，主要分為四個階段：自主研發的流式計算引擎Pora初露鋒芒;雙鏈路實時體系大放異彩;“深度學習+強化學習”初步探路;全面進入深度學習時代。下面我們就來一起看一下。

四大演進階段：業務、算法、系統同步發展

??

階段一：初露鋒芒——自主研發的流式計算引擎Pora

技術的演進是伴隨解決實際業務問題和痛點發展和進化的。2014年雙11，通過BI團隊針對往年雙11的數據分析，發現即將售罄的商品仍然獲得了大量流量，剩余庫存無法支撐短時間內的大用戶量。主售款(熱銷sku)賣完的商品獲得了流量，用戶無法買到商品熱銷的sku，轉化率低;與之相對，一些在雙11當天才突然展露出來的熱銷商品卻因為歷史成交一般沒有得到足夠的流量。

針對以上問題，通過搜索技術團隊自主研發的流式計算引擎Pora，收集預熱期和雙11當天全網用戶的所有點擊、加購、成交行為日志，按商品維度累計相關行為數量，并實時關聯查詢商品庫存信息，提供給算法插件進行實時售罄率和實時轉化率的計算分析，并將計算結果實時更新同步給搜索和推薦引擎，影響排序結果。***次在雙11大促場景下實現了大規模的實時計算。算法效果上，也***次讓大家感受到了實時計算的威力，PC端和移動端金額也得到顯著提升。

階段二：大放異彩——雙鏈路實時體系

2014年雙11，實時技術在大促場景上，實現了商品和用戶的特征實時，表現不俗。

2015年搜索技術和算法團隊繼續推動在線計算的技術升級，基本確立了構筑基于實時計算體系的【在線學習+決策】搜索智能化的演進路線。

早先的搜索學習能力，是基于批處理的離線機器學習。在每次迭代計算過程中，需要把全部的訓練數據加載到內存中計算。雖然有分布式大規模的機器學習平臺，在某種程度上批處理方法對訓練樣本的數量還是有限制的。在線學習不需要緩存所有數據，以流式的處理方式可以處理任意數量的樣本，做到數據的實時消費。

接下來，我們要明確兩個問題：為什么需要在線學習呢?以及為什么實現秒級的模型更新?

在批量學習中，一般會假設樣本獨立服從一個未知的分布，但如果分布變化，模型效果會明顯降低。而在實際業務中，很多情況下，一個模型生效后，樣本的分布會發生大幅變化，因此學到的模型并不能很好地匹配線上數據。實時模型，能通過不斷地擬合最近的線上數據，解決這一問題，因此效果會較離線模型有較大提升。那么為什么實現秒級分鐘級的模型更新?在雙11這種成交爆發力強、變化劇烈的場景，秒級實時模型相比小時級實時模型時效性的優勢會更加明顯。根據2015年雙11實時成交額情況，前面1小時已經完成了大概總成交的1/3，小時模型就無法很好地捕獲這段時間里面的變化。

基于此，搜索技術團隊基于Pora開發了基于parameter server的在線學習框架，如下圖所示，實現了在線訓練，開發了基于pointwise的實時轉化率預估模型，以及基于pairwise的在線矩陣分解模型。并通過swift輸送模型到引擎，結合實時特征，實現了特征和模型雙實時的預測能力。

??

在線學習框架

但是，無論是離線訓練還是在線學習，核心能力是盡可能提高針對單一問題的算法方案的準確度，卻忽視了人機交互的時間性和系統性，從而很難對變幻莫測的用戶行為以及瞬息萬變的外部環境進行完整的建模。典型問題是在個性化搜索系統中容易出現反復給消費者展現已經看過的商品。

如何避免系統過度個性化，通過高效的探索來增加結果的豐富性?我們開始探索機器智能技術的另一方向——強化學習，運用強化學習技術來實現決策引擎。我們可以把系統和用戶的交互過程當成是在時間維度上的【state，action，reward】序列，決策引擎的目標就是***化這個過程。

在線決策方面，我們***嘗試了運用MAB和zero-order優化技術實現多個排序因子的***融合策略，取代以前依靠離線Learningto rank學到的排序融合參數。其結果是顯著的，在雙11當天我們也觀察到，通過實時策略尋優，一天中不同時間段的***策略是不同的，這相比全天使用離線學習得到的一套固定排序權重是一個大的進步。

2015年雙11雙鏈路實時計算體系如下圖所示：

??

2015年雙11的實時計算體系

階段三：初步探路——“深度學習+強化學習”

2015年雙11，在線學習被證明效果顯著，然而回顧當天觀察到的實時效果，也暴露出一些問題。

• 問題一：在線學習模型方面，該模型過度依賴從0點開始的累積統計信號，導致后場大部分熱銷商品都無法在累積統計信號得到有效的差異化表示，模型缺少針對數據的自適應能力。
• 問題二：在線決策方面。2015年雙11，宏觀實時體系中的MAB( Multi-ArmedBandit)實時策略尋優發揮了重要作用，通過算法工程師豐富經驗制定的離散排序策略集合，MAB能在雙11當天實時選擇出***策略進行投放;然而，同時暴露出MAB基于離散策略空間尋優的一些問題，離散策略空間仍然是拍腦袋的智慧。同時為了保證MAB策略尋優的統計穩定性，幾十分鐘的迭代周期仍然無法匹配雙11當天流量變化的脈搏。

針對***個問題，我們在2016年雙11中也進行了優化和改進。對于從0點的累積統計信號到后場飽和以及統計值離散化缺少合理的抓手的問題，我們參考Facebook在AD-KDD的工作，在此基礎上，結合在線學習，我們研發了Streaming FTRL stacking on DeltaGBDT模型，如下圖所示。

??

Streaming FTRL stacking on DeltaGBDT模型

分時段GBDT模型會持續為實時樣本產出其在雙11當天不同時段的有效特征，并由onlineFTRL去學習這些時效性特征的相關性。

對于在線決策方面的問題，我們進行了策略空間的***化探索，分別嘗試了引入delay reward的強化學習技術，即在搜索中采用強化學習(ReinforcementLearning)方法對商品排序進行實時調控優化。我們把搜索引擎看作智能體(Agent)、把用戶看做環境(Environment)，則商品的搜索問題可以被視為典型的順序決策問題(Sequential Decision-making Problem)。我們的目標就是要實現用平臺長期累積收益的***化。

系統方面，2016年雙11我們的實時計算引擎從istream時代平穩升級到到 Blink/Flink 時代，實現24小時不間斷無延遲運轉，機器學習任務從幾個擴大到上百個job。為算法實現大規模在線深度學習和強化學習等前沿技術打下了堅實的基礎。

階段四：全面進入——深度學習時代

由于在線深度學習需要強大的計算資源來支持，2017年系統上我們重構了流式計算平臺、機器學習平臺和支持CPU/GPU的異構在線服務平臺，能夠支持更大規模的流式數據計算，超大規模深度模型在線學習和在線預估。

依托強大的計算能力，實現了深度學習在搜索的全面落地，包括語義搜索，深度用戶興趣感知，商品多模表示學習，在線深度機制模型，多場景協同智能決等技術創新：

a) 深度用戶感知模型：搜索或推薦中個性化的重點是用戶的理解與表達，基于淘寶的用戶畫像靜態特征和用戶行為動態特征，我們提出基于multi-modals learning、multi-task representation learning以及LSTM的相關技術，從海量用戶行為日志中直接學習用戶的通用表達，該學習方法善于“總結經驗”、“觸類旁通”，使得到的用戶表達更基礎且更全面，能夠直接用于用戶行為識別、偏好預估、個性化召回、個性化排序等任務，在搜索、推薦和廣告等個性化業務中有廣泛的應用場景。(相關成果的論文已被KDD 2018 錄用)

??

b)大規模商品多模表示學習：淘寶商品有文本、圖像、標簽、id 、品牌、類目、店鋪，統計特征等多模態信息，這些特征彼此有一定程度的冗余和互補，我們利用多模學習將多維度特征融合在一起學習一個統一的商品向量，并通過attention機制實現不同特征維度在不同場景下的差異，比如女裝下圖片特征比較重要，3C下價格，銷量比較重要等。

c)在線深度機制模型：由于不同用戶和不同場景的優化目標不一樣，我們把用戶狀態，場景相關特征加入到了機制模型中，實現了千人千面的排序機制模型。同時由于各種基礎實時日志的qps和延遲都不太一樣，為了保證在線學習的穩定性，我們構建了實時樣本pool來維護一個穩定的樣本集合供在線學習使用。

d) 全局排序：傳統的排序模型只對單個文檔打分，然后按照分數從高到底排序。這樣方法無法考慮到商品之間相互的影響;傳統的針對單個商品ctr、cvr都基于這樣一個假設：商品的ctr、cvr不會受到同時展示出來的其他商品(我們稱為展示context)的影響。而實際上一個商品的展示context可以影響到用戶的點擊或者購買決策：假如同一個商品周邊的商品都和它比較類似，而且價格都比它便宜，那么用戶買它的概率不會高;反之如果周邊差不多的商品都比它貴，那么用戶買它的概率就會大增。而全局排序就要解決這個問題，考慮商品之間的相互影響，實現整頁效率的***化。(相關成果的論文已被IJCAI2018 錄用)

e) 多場景協同智能決策：搜索多個不同的產品都是依托個性化來實現GMV***化，導致的問題是不同產品的搜索結果趨同。而導致這個問題的根本原因是不同場景的算法各自為戰，缺乏合作和關聯。今年做的一個重要工作是利用多智能體協同學習技術，實現了搜索多個異構場景間的環境感知、場景通信、單獨決策和聯合學習，實現聯合收益***化，而不是此消彼長(相關成果的論文已被 www 2018錄用)。

驅動搜索智能化體系的演進的三點

我們再回過頭來看，是什么驅動了搜索智能化體系的演進?

目前，各大互聯網公司的主流技術路線主要是運用機器學習技術來提升搜索/推薦平臺的流量投放效率，隨著計算力和數據的規模增長，大家都在持續地優化和深入。是什么驅動我們推動搜索的智能化體系從離線建模、在線預測向在線學習和實時決策方向演進呢?概括來說，主要有以下三點。

首先，眾所周知，淘寶搜索具有很強的動態性，寶貝的循環擱置，新賣家加入，賣家新商品的推出，價格的調整，標題的更新，舊商品的下架，換季商品的促銷，寶貝圖片的更新，銷量的變化，賣家等級的提升等等，都需要搜索引擎在***時間捕捉到這些變化，并在最終的排序環節，把這些變化及時地融入匹配和排序，帶來結果的動態調整。

其次，從2013年起，淘寶搜索就進入千人千面的個性化時代，搜索框背后的查詢邏輯，已經從基于原始Query演變為【Query+用戶上下文+地域+時間】，搜索不僅僅是一個簡單根據輸入而返回內容的不聰明的“機器”，而是一個能夠自動理解、甚至提前猜測用戶意圖(比如用戶瀏覽了一些女士牛仔褲商品，然后進入搜索輸入查詢詞“襯衫”，系統分析用戶當前的意圖是找女性相關的商品，所以會展現更多的女士襯衫，而不是男生襯衫)，并能將這種意圖準確地體現在返回結果中的聰明系統，這個系統在面對不同的用戶輸入相同的查詢詞時，能夠根據用戶的差異，展現用戶最希望看到的結果。變化是時刻發生的，商品在變化，用戶個體在變化，群體、環境在變化。在搜索的個性化體系中合理地捕捉變化，正是實時個性化要去解決的課題。

***，電商平臺也完成了從PC時代到移動時代的轉變，隨著移動時代的到來，人機交互的便捷、碎片化使用的普遍性、業務切換的串行化，要求我們的系統能夠對變化莫測的用戶行為以及瞬息萬變的外部環境進行完整的建模。基于監督學習時代的搜索和推薦，缺少有效的探索能力，系統傾向于給消費者推送曾經發生過行為的商品或店鋪。

真正的智能化搜索和推薦，需要作為投放引擎的agent有決策能力，這個決策不是基于單一節點的直接收益來確定，而是當作一個人機交互的過程，消費者與平臺的互動看成是一個馬爾可夫決策過程，運用強化學習框架，建立一個消費者與系統互動的回路系統，而系統的決策是建立在***化過程收益基礎上。

未來展望——讓淘寶搜索擁有智慧化的體驗

經過這么十年雙11大促的技術錘煉后，圍繞在線AI技術的智能框架初具規模，基本形成了在線學習加智能決策的智能搜索系統，為電商平臺實現消費者、賣家、平臺三方利益***化奠定了堅實的基礎。這套具備學習加決策能力的智能系統也讓搜索從一個簡單的找商品的機器，慢慢變成一個會學習會成長，懂用戶，體貼用戶的“人”。

但在這個過程中，搜索排序學習到的知識更多都是通過已有的商品標簽數據和用戶行為數據來獲取的，還缺少對商品和用戶更深層次的認知，還無法完全理解用戶的多元意圖表達的真實需求。

比如，用戶搜索了“性感連衣裙”，可能是想找“去參加晚場party的低胸晚裝裙”，也可能是想找“去海邊度假的露肩沙灘裙”;用戶收藏了“登山鞋”和“拐杖”，可能有“登山裝備”的需求，需要發現更多的和登山裝備相關的其它品類商品。一個有孩子的爸爸，在暑假剛開始時，挑選“轉換接頭”，查看“大英博物館門票”，可能是想帶著家人一起“暑期英國親子游”，需要發現更多相關的其它品類商品。

究其原因，目前機器智能技術特別是以深度學習為代表的模型，在現實應用中快速發展，最主要受益于海量大數據以及大規模計算能力，通過對物理世界的數字化抽象和程式化學習，使得機器智能具備很強的限定知識的獲取能力，而很難獲得數據之外的知識，就更不用說知識的類比、遷移和推理了。

而機器的認知智能，比如自主學習和發現，甚至創造能力才是人工智能的更高境界。當然通用的機器智能還有很多工作要做，在這個過程中，怎么樣首先結合人類知識和機器智能做到初步的認知智能，讓淘寶搜索擁有智慧化的體驗是未來值得探索的方向。

我們有理由相信，隨著智能技術的進一步升級，這個“人”會越來越聰明，實現機器智能，認知智能的***目標。

【本文為51CTO專欄作者“阿里巴巴官方技術”原創稿件，轉載請聯系原作者】

??戳這里，看該作者更多好文??