[[331789]]

前言

傳統的數據開放共享方式，很多是將原始數據以明文的方式直接輸出，這樣在數據安全和隱私保護方面存在顯著風險，不符合日益完善的法律法規要求，也越來越不能滿足當今數據體量、規模日益龐大而復雜的應用需求。另外，也存在加工為標簽類的數據再進行輸出的方式，但通常存在信息漏損，使用這類數據進行建模，效果大打折扣。

經過實踐，TalkingData 借助機器學習技術探索出一套新的方案，通過對原始數據進行分布式的隱含表征提取計算（一種數據變換方式），再將變換后的數據用于開放共享，既可以滿足數據輸出的安全性要求，又提升了大數據輸出的處理速度。該數據輸出方式主要基于機器學習的分布式 embedding 算法（嵌入算法）。Embedding 算法是一系列算法的統稱，該類算法能夠對原始數據進行變換，并挖掘其中的潛在關聯。Embedding 算法處理后的數據由于信息漏損較少，相對標簽數據有更好的建模效果，被廣泛用于推薦系統、自然語言處理等領域。

TalkingData 將該類算法應用到數據安全輸出領域，使得原始數據在經過變換后，能夠以不具備可識別性的方式輸出，而數據獲取方無法從中提取到與個人身份相關的敏感信息，也就實現了對隱私數據的匿名化保護。

基于保護用戶隱私、保障數據輸出安全性以及提升大數據輸出處理速度的考量，構建了 TalkingData System 平臺（以下簡稱 TDS）。TDS 平臺的底層基于 Spark 和 Hadoop 生態搭載了 embedding 算法，對原始數據進行計算和處理，再將結果通過前端平臺頁面輸出給企業用戶，目前已經在金融、零售、互聯網、廣告等行業中得到應用。

借助 TDS 平臺，企業可以將內部來自垂直領域的第一方數據，比如用戶群體的活躍、消費、人口屬性標簽等，與 TalkingData 的第三方數據進行融合，豐富企業的自有模型特征維度。理論上，不需要業務解釋或識別的預測模型均可使用本方法輸出的數據。

算法方案詳解

本算法具有通用性，可以應用于任何能變換為標準格式的原始數據輸出。下面通過一個示例詳解說明處理過程：

1,TDS 平臺的使用方上傳了一批設備 ID（設備標識），通過 ID 匹配，得到對應的 TDID（即 TalkingData 自有的加密標識符）。

2,使用 TDID 作為索引，提取原始數據。假設有 M 個 TDID，TDID 可以看作每一臺智能移動設備的虛擬唯一編號，則提取后的原始數據共有 M 行，每行對應一個設備的屬性信息。假設屬性個數為 N，每個設備的每個屬性值為 1 或 0，代表一個設備具有或不具有某個屬性。將該原始數據變換為 M*N 的稀疏矩陣，每行對應一個設備，每列對應一個屬性。例如第三行第五列為 0，則表示第三個設備不具有第五列對應的屬性。

稀疏矩陣相對普通矩陣來比，能夠極大的節省存儲空間。構造稀疏矩陣的方法可以理解為以下步驟：

（1）創建一個 M*N 的矩陣，將其中的值全部填充為零。

（2）逐行掃描，如果一個設備具有某個屬性，就將該處的值替換為 1，直到掃描完成。

（3）記錄哪些行和哪些列的數據為 1，存儲這些信息。存儲下來的這些信息，實際上就是一個系數矩陣。

3,通過嵌入模型對標準格式的原始數據進行表征學習。實際上就是對輸入的原始矩陣進行分解。嵌入模型可以使用的算法很多，此處以奇異值分解 SVD（Singular Value Decomposition）算法為例進行介紹。

提到 SVD，就不得不提到與其相關的概念——PCA（Principal Components Analysis），即主成分分析，又被稱為特征值分解。關于 PCA 方法，大家的普遍聯想是降維 。簡單來說，PCA 所做的就是在原始空間中順序地找一組相互正交的坐標軸，第一個軸是使得方差最大的，第二個軸是在與第一個軸正交的平面中使得方差最大的，第三個軸是在與第 1、2 個軸正交的平面中方差最大的。這樣，假設在 N 維空間中，我們可以找到 N 個這樣的坐標軸，我們取前 r 個去近似這個空間，這樣就從一個 N 維的空間壓縮到 r 維的空間了，而我們選擇的 r 值對空間的壓縮要能使數據的損失最小。

PCA 從原始數據中挑選特征明顯的、比較重要的信息保留下來，這樣一來問題就在于如何用比原來少的維度去盡可能刻畫原來的數據。同時，PCA 也有很多的局限，比如說變換的矩陣必須是方陣，而 SVD 算法能夠避免這一局限。

SVD 算法，能夠將一個矩陣分解為三個子矩陣（三個子矩陣相乘可以還原得到原始矩陣）。我們將這三個矩陣稱為 U、Sigma 及 V，其中 Sigma 矩陣為奇異值矩陣，只有對角線處有值，其余均為 0。

案例詳解 | 基于Embedding的特征安全計算

假設原始矩陣是 10,000 行 1,000 列，那么分解后即可得到如下三個子矩陣：

U 矩陣為 10,000*10,000

Sigma 矩陣為 10,000*1,000（除了對角線的元素都是

0，對角線上的元素稱為奇異值）

V（^）T矩陣（V 的轉置）為 1,000*1,000

實際應用過程中，我們只保留 U 矩陣的前 512 列，于是三個矩陣的維度就變成了：10,000*512，512*512，512*1,000。為什么是保留 512 列呢？原因是奇異值在矩陣Σ中是從大到小排列，而且奇異值的減小特別快，在很多情況下，前 10% 甚至 1% 的奇異值之和，就占了全部奇異值之和的 99% 以上了。根據我們的多次實驗，512 列已經能夠很好的保留奇異值的信息。

4,矩陣分解得到三個子矩陣后，將 U 和 Sigma 相乘，得到輸出矩陣。輸出矩陣的維度為 10,000*512。可以看到，輸出矩陣與輸入矩陣有著相同的行數，每一行仍舊代表一個設備。但是輸出矩陣的列數變為了512，與原始矩陣中每一列是一個屬性不同，此時的輸出矩陣中每一列對應一個特征。該特征不具備可解釋性和可識別性，這也就保證了輸出數據不會泄露個人隱私。

5,將輸出矩陣直接輸出，TDS 平臺的使用方可以通過數據接口進行調用。因為平臺使用方無法獲得 V 矩陣，故而無法還原得到原始矩陣，也就無法還原出任何與個人相關的原始屬性信息。

輸出時，需要將所有的數據先整理成步驟 2 中的標準輸入格式，然后拼接成一個輸入矩陣。之后的步驟與上述示例中相同。

效果

對于 Embedding 算法在數據安全輸出的實際表現，TalkingData 做了很多相關實驗，也在多個實際項目中進行了驗證。以下用兩個真實案例進行說明：

案例一：性別標簽預測效果提升

性別標簽是基于設備信息通過機器學習模型預測打分得出的。在過往的建模過程中，算法人員往往會對原始信息進行一定的處理，比如將非結構性的數據處理為結構性的統計數值，或者將其他標簽作為特征輸入到模型中。但是，這些特征工程方法都會產生一定的信息漏損或者誤差引入。

而 Embedding 處理后的數據相比人工的特征篩選，由于信息漏損較少，理論上會取得更好的建模效果。從以下兩圖可以看出，基于相同原始數據，使用 Embedding 模型的預測效果比原始性別預測模型提升 (0.71 - 0.63)/0.63 = 13.7%。

案例二：某金融企業的風控模型預測效果提升

在與很多企業的合作中，會將 TalkingData 的人口屬性標簽和應用興趣標簽作為第三方數據引入。在與某金融企業的合作中，TalkingData 將數據通過 TDS 輸出給該企業并應用在風控模型中。

在相同的假陽率（False Positive Rate）下，企業原有算法的生產準確率為 0.42，而加入 Embedding 算法輸出的數據后，經過優化的生產準確率達到 0.52，提升 25%。在風控領域中，25% 的提升能夠幫助企業避免很大的經濟損失。

關于其他 Embedding 方法的思考

Embedding 方法被廣泛應用于自然語言處理領域，也就是使用數學語言表示一篇文本。雖然上文提到的 SVD 算法的有效性在實際模型計算中被驗證了，但是在文本特征表示方面仍有缺陷。

首先，它是一個詞袋模型（BOW，bag of words），不考慮詞與詞之間的順序，而在實際文本中，詞語的順序也非常重要，而且每個詞在句子中的重要性各不相同；其次，它假設詞與詞之間相互獨立，但在大多數情況下詞與詞是相互影響的，這也是為什么我們在做“閱讀理解”的時候經常要聯系上下文的原因。

如今 Embedding 領域早已向深度學習的方向衍化，大致可以分為以下四種常見應用：

不依賴文本語法和語序的詞袋模型：one-hot、tf-idf、textrank 等；

主題模型：LSA、pLSA、LDA；

基于詞向量的固定表征：word2vec、fastText、glove

基于詞向量的動態表征：elmo、GPT、bert

其中，Word2vec 是獲得工業界廣泛應用的算法之一。提到 Word2vec 就不得不引入“詞向量”的概念。NLP 領域中，最細粒度的是詞語，詞語構成句子，句子再組成段落、篇章、文檔。如何用數學語言表示每一個詞語，成為研究詞與詞之間關系的關鍵。Word2vec 正是來源于這個思想，可以把它看作是簡單化的神經網絡模型，但是它的最終目的，不僅僅是用數值表示文本符號，還有模型訓練完后的副產物——模型參數（這里特指神經網絡的權重）。該模型參數將作為輸入詞語的某種向量化的表示，這個向量便稱為——詞向量。

舉例子說明如何通過 Word2vec 尋找相近詞：

結合 TalkingData 應用 Embedding 的實際場景，與詞向量的最大區別就是被表示的特征之間沒有上下文的聯系。TalkingData 以分析移動設備行為數據為主，對大多數設備屬性來說，打亂排列的順序對于實際意義來說沒有任何影響，但是一個句子里面的詞語是不能被打亂順序排列的，句式結構對于詞向量表示來說是非常重要的。基于實際業務場景的考量，我們沒有選擇用 Word2vec 或更復雜的 Embedding 算法來轉換原始數據。

雖然，我們保證了原始數據輸出的安全性，但是伴隨而來的是數據可解釋性較弱的問題。由于 Embedding 算法將原始數據轉化為了另一個空間的數值向量，因此無法人為理解或者賦予輸出矩陣的每一列的實際含義。

假設建模人員構建一個“工資預測回歸模型”，采集到的樣本特征包括“性別、年齡、學歷、工作城市、工作年限…”，分別對應數據集中的每一列，那么他們可以容易的計算得到每個特征的權重，并且能夠比較哪個特征的權重較高，即特征重要性的排序，得到諸如“工作年限對工資高低的影響比性別更重要”這樣的結論。

但是在使用 TDS 平臺輸出的數據構建模型的時候，我們沒辦法向上述模型一樣分析比較每一列特征對模型的影響，只能得出增加 Embedding 特征對于模型效果是否有提升這樣粒度較粗的結論。顯然，如果建模人員對于模型的解釋性有特別嚴苛的需求的話，TDS 平臺暫時沒有辦法提供解決方案。