Euler問世！國內首個工業級的圖深度學習開源框架
千呼萬喚始出來！阿里正式公布重磅開源項目——圖深度學習框架 Euler。這是國內首個在核心業務大規模應用后開源的圖深度學習框架。此次開源，Euler 內置了大量的算法供用戶直接使用，相關代碼已經可在 GitHub 上進行下載。
圖學習和深度學習都是人工智能的一個分支，作為阿里巴巴旗下的大數據營銷平臺，阿里媽媽創新性地將圖學習與深度學習進行結合，推出了 Euler，可幫助大幅度提升營銷效率。Euler 已在阿里媽媽核心業務場景進行了錘煉和驗證，同時，在金融、電信、醫療等涉及到復雜網絡分析的場景中也具有很高的應用價值。例如，用戶可以利用 Euler 對基于用戶交易等金融數據構建的復雜異構圖進行學習與推理，進而應用于金融反欺詐等場景。
下面讓我們一起走進 Euler 的世界。
Euler 開源地址
https://github.com/alibaba/euler
1. 概述
過去幾年隨著數據規模和硬件計算力的迅速增長，深度學習技術在工業界被廣泛應用并產生了巨大的技術紅利。當前應用已經相對成熟，下一步的技術紅利在哪里還在積極探索之中。圖神經網絡將端到端學習與歸納推理相結合，有望解決深度學習無法處理的關系推理、可解釋性等一系列問題。對結構知識的表達、計算和組合泛化是實現具備 human-like AI 的關鍵，圖神經網絡有希望在這些方面形成突破，使得機器能力進一步提升，因此對圖神經網絡的深入應用有希望形成下一波技術紅利。
圖作為表達能力很強的通用的數據結構，可以用來刻畫現實世界中的很多問題，例如社交場景的用戶網絡、電商場景的用戶和商品網絡、電信場景的通信網絡、金融場景的交易網絡和醫療場景的藥物分子網絡等等。相比文本、語音和圖像領域的數據比較容易處理成歐式空間的 Grid-like 類型，適合現有的深度學習模型處理，圖是一種非歐空間下的數據，并不能直接應用現有方法，需要專門設計的圖神經網絡系統。
1. 1Euler 的核心能力
1）大規模圖的分布式學習
工業界的圖往往具有數十億節點和數百億邊，有些場景甚至可以到數百億節點和數千億邊，在這樣規模的圖上單機訓練是不可行的。Euler 支持圖分割和高效穩定的分布式訓練，可以輕松支撐數十億點、數百億邊的計算規模。
2）支持復雜異構圖的表征
工業界的圖關系大都錯綜復雜，體現在節點異構、邊關系異構，另外節點和邊上可能有非常豐富的屬性，這使得一些常見的圖神經網絡很難學到有效的表達。Euler 在圖結構存儲和圖計算的抽象上均良好的支持異構點、異構邊類型的操作，并支持豐富的異構屬性，可以很容易的在圖學習算法中進行異構圖的表征學習。
3）圖學習與深度學習的結合
工業界有很多經典場景，例如搜索／推薦／廣告場景，傳統的深度學習方法有不錯效果，如何把圖學習和傳統方法結合起來，進一步提升模型能力是很值得探索的。Euler 支持基于深度學習樣本的 mini-batch 訓練，把圖表征直接輸入到深度學習網絡中聯合訓練。
4）分層抽象與靈活擴展
Euler 系統抽象為圖引擎層、圖操作算子層、算法實現層三個層次，可以快速地在高層擴展一個圖學習算法。實際上，Euler 也內置了大量的算法實現供大家直接使用。
1. 2 Euler 內置的算法實現
考慮到框架的易用性，我們內置了多種知名算法以及幾種我們內部的創新算法。所有實現，我們仔細進行了測試，保證了算法運行效率，且算法效果與原論文對齊。用戶無需進行開發，注入數據到平臺后，可以直接使用。我們內置的算法列表見下表。有關我們內部算法的詳細信息請見 2.3 節。
|
算法類型 |
是否自研 |
特點 |
|
|
DeepWalk |
隨機游走 |
否 |
經典無偏的隨機游走無監督算法。 |
|
Node2Vec |
隨機游走 |
否 |
利用可配置參數在游走時可傾向 BFS 或 DFS |
|
LINE |
其它 |
否 |
靈活利用 1 階，2 階鄰居信息的無監督算法 |
|
GCN |
鄰居匯聚 |
否 |
CNN 操作類似推廣到非歐空間的算法 |
|
GraphSAGE |
鄰居匯聚 |
否 |
GCN 改進，提出鄰居采樣，多種匯聚函數等 |
|
GAT |
鄰居匯聚 |
否 |
將 Attention 技術用于鄰居匯聚 |
|
Scalable-GCN |
鄰居匯聚 |
是 |
加速 GCN 訓練的一種方法 |
|
LsHNE |
隨機游走 |
是 |
異構圖中隨機游走，利用深度網絡編碼 |
|
LasGNN |
鄰居匯聚 |
是 |
半監督大規模異構圖卷積網絡學習方法 |
2. 系統設計
Euler 系統整體可以分為三層：最底層的分布式圖引擎，中間層圖語義的算子，高層的圖表示學習算法。
下邊我們分開描述各個層次的核心功能。
Figure1 Euler 架構 Overview
2. 1 分布式圖引擎
為了支持我們的業務，我們不僅面臨超大規模圖存儲與計算的挑戰，還需要處理由多種不同類型的點，邊及其屬性構成異構圖的復雜性。我們的分布式圖引擎針對海量圖存儲，分布式并行圖計算及異構圖進行了優化設計，確保了工業場景下的有效應用。
-
首先為了存儲超大規模圖（數十億點，數百億邊），Euler 必須突破單機的限制，從而采用了分布式的存儲架構。在圖加載時，整張圖在引擎內部被切分為多個子圖，每個計算節點被分配 1 個或幾個子圖進行加載。
-
為了充分利用各個計算節點的能力，在進行圖的操作時，頂層操作被分解為多個對子圖的操作由各個節點并行執行。這樣隨著更多節點的加入，我們可以得到更好的服務能力。其次，我們引入了多 replica 的支持。從而用戶可以靈活平衡 shard 與 replica 的數量，取得更佳的服務能力。最后，我們針對圖表示學習優化了底層的圖存儲數據結構與操作算法，單機的圖操作性能獲得了數倍的提升。
-
多種不同類型的邊，點與屬性所組成的異構圖，對很多復雜的業務場景必不可少。為了支持異構圖計算能力，底層存儲按照不同的節點與邊的類型分別組織。這樣我們可以高效支持異構的圖操作。
2. 2 中間圖操作算子
由于圖學習算法的多樣性以及業務的復雜性，固定的某幾種甚至幾十種算法實現無法滿足客戶的所有需求。所以在 Euler 設計中，我們圍繞底層系統的核心能力著重設計了靈活強大的圖操作算子，且所有算子均支持異構圖操作語義。用戶可以利用它來快速搭建自己的算法變體，滿足獨特的業務需求。
首先，Euler 分布式圖引擎提供了 C++ 的 API 來提供所有圖操作。基于這個 API，我們可以方便的基于某個深度學習框架添加圖操作的算子，從而利用 Euler C++ 接口訪問底層圖引擎的能力。我們支持廣泛使用的深度學習框架，比如阿里巴巴的X-DeepLearning 與流行的 TensorFlow。后繼我們也會考慮支持其它的深度學習框架，比如 PyTorch。
利用靈活的圖操作算子，機器學習框架可以在每個 mini-batch 與 Euler 交互，動態擴充與組織訓練樣本。這樣，Euler 不僅支持傳統的以圖為中心的學習模式，且可以把圖學習的能力注入傳統的學習任務，實現端到端訓練。
按照功能分類，我們的核心系統提供的 API 可以分類如下：
-
全局帶權采樣點和邊的能力。主要用于 mini-batch 樣本的隨機生成以及 Negative Sampling。
-
基于給定節點的鄰居操作。這個是圖計算的核心能力包括鄰居帶權采樣，取 Top 權重的鄰居等。
-
點/邊的屬性查找。這個能力使得算法可以使用更豐富的特征，而不僅限于點/邊的 ID 特征。
2. 3 高層算法實現
如 1.2 節所述，除了 LINE 算法以外，我們實現的算法可以分為隨機游走與鄰居匯聚兩大類算法。有關外部算法的詳細信息，請參見 1.2 節提供的論文鏈接。下面我們詳細介紹內部的三個創新算法，相關論文的鏈接我們會在 github 上給出。
-
Scalable-GCN
它是一種高效的 GCN 訓練算法。GCN 以及更一般的 Graph Neural Network (GNN)類的方法由于能有效的提取圖結構信息，在許多任務上均取得了超過以往方法的效果。但是 GCN 的模型會引入巨大的計算量，導致模型的訓練時間不可接受。Scalable-GCN 在保證優秀效果的前提下，把 mini-batch GCN 的計算復雜度從層數的指數函數壓到線性。這使得在阿里媽媽的海量數據下應用三層 GCN 成為可能，廣告匹配的效果獲得了顯著提升。
-
LsHNE
LsHNE 是我們結合阿里媽媽搜索廣告場景創新地提出一種無監督的大規模異構網絡 embedding 學習方法。區別于 DeepWalk 類算法，LsHNE 的特點包括：a) 采用深度神經網絡學習表達，可以有效融合 Attribute 信息；b)考慮 embedding 表示的距離敏感需求，提出兩個負采樣原則：分布一致性原則和弱相關性原則；c)支持異構網絡。
-
LasGNN
LasGNN 是一種半監督的大規模異構圖卷積神經網絡學習方法， 它有效融合了圖結構知識信息和海量用戶行為信息，大幅提升了模型精度，是工業界廣告場景下首次應用半監督圖方法。該方法有多處創新，例如將 metapath 的思想應用于圖卷積網絡中，并提出了 metapathGCN 模型，有效解決了異構網絡的卷積問題；提出了 metapathSAGE 模型，在模型中我們設計高效的鄰居采樣的方法，使得大規模的多層鄰居卷積成為可能。
3. 應用實例
Euler 平臺已經在阿里媽媽搜索廣告的多個場景下廣泛實用，并取得了出色的業務效果，例如檢索匹配場景、CTR 預估場景、營銷工具場景和反作弊場景等。我們以匹配場景的為例來看下 Euler 的應用。
廣告匹配的任務是給定用戶搜索請求，匹配模塊通過理解用戶意圖，快速準確地從海量廣告中找到高質量的小規模候選廣告集，輸送給下游的排序模塊進行排序。
我們首先使用一些傳統的挖掘算法，從用戶行為日志、內容屬性等維度挖掘出 Query (查詢詞)， Item (商品)和 Ad (廣告)的多種關系，然后利用 Euler 平臺的 LsHNE 方法學習圖中節點的 embedding，這里節點 embedding 后的空間距離刻畫了原來圖中的關系，對于在線過來的請求通過計算用戶查詢詞向量、前置行為中節點向量和廣告節點向量之間的距離進行高效的向量化最近鄰檢索，可以快速匹配到符合用戶意圖的廣告。圖 2 展示了 LsHNE 方法的離線和在線流程。具體圖 3 展示了樣本構造和網絡結構示意。
Figure2 DeepMatch 召回框架
Figure 3 離線訓練流程
