今天我們要講解的算法是Word2vec。Word2vec（word to vector）顧名思義，這是一個將單詞轉換成向量形式的工具。通過轉換，可以把對文本內容的處理簡化為向量空間中的向量運算，計算出向量空間上的相似度，來表示文本語義上的相似度。

        Word2vec主要分為CBOW（Continuous Bag of Words）又叫連續詞袋和Skip-Gram兩種模式，今天我們主要講解的就是CBOW，接下來我們將從頭到尾的詳細講解Word2vec算法流程。

        先來講解一個背景知識：one-hot向量。獨熱向量是指使用N位0或1來對N個狀態進行編碼，每個狀態都有它獨立的表示形式，并且其中只有一位為1，其他位都為0。

        比如我們現在要編碼apple\bag\cat\dog\elephant這五個單詞，我們用5位向量來進行編碼，如下所示：

apple [1 0 0 0 0]

bag [0 1 0 0 0]

cat [0 0 1 0 0]

dog [0 0 0 1 0]

elephant [0 0 0 0 1]

如果我們現在想要編碼其他另外的單詞，那就需要更多位參與編碼，但是這五個單詞的編碼前5位仍然能夠是這樣，只不過后面省略號省略的部分都為0罷了。

圖片

同時使用獨熱向量形成的特征矩陣會非常的稀疏，占用的空間非常的大。

        而Word2vec就可以解決這個問題，其核心思想是：上下文語境相似的詞，其語義也相似。Word2vec采用的是n元語法模型(n-gram model)，即假設一個詞只與周圍n個詞有關，而與文本中的其他詞無關。所以Word2vec就是把這n個詞作為一個目標詞的特征，那么就可以把特征映射到 K 維向量空間，可以為文本數據尋求更加深層次的特征表示 。所以 Word2vec的基本思想是 通過訓練將每個詞映射成 K 維實數向量（K 一般為模型中的超參數），通過詞之間的距離（比如 cosine 相似度、歐氏距離等）來判斷它們之間的語義相似度。

        接下來看一看CBOW的結構。分為三層：輸入層，隱藏層和輸出層。

圖片

        這里對傳統的神經網絡做了以下一些改造：

1. 首先，對于從輸入層到隱藏層的映射，沒有采取神經網絡的線性變換加激活函數的方法，而是采用簡單的對所有輸入詞向量求和并取平均的方法。比如輸入的是三個4維詞向量：(1,2,3,4),(9,6,11,8),(5,10,7,12),那么我們word2vec映射后的詞向量就是(5,6,7,8)。由于這里是從多個詞向量變成了一個詞向量。

2. 第二個改進就是從隱藏層到輸出的softmax層這里的計算量個改進。為了避免要計算所有詞的softmax概率，word2vec采樣了霍夫曼樹來代替從隱藏層到輸出softmax層的映射。

        說到哈夫曼樹，我們都不陌生，它是一種帶權路徑最短的二叉樹，也叫做最優二叉樹。如下圖，b是哈夫曼樹，他的帶權路徑只有48

圖片

        哈夫曼樹的構造方法如下圖所示：先用權重最小的兩個作為最底層葉子結點，然后權重次小的，以此類推。保證權重越大的越早被遍歷到，節省時間和空間。同時遍歷葉子結點的路徑我們也可以用哈夫曼編碼表示，例如左節點是0，右節點是1，那么葉子結點c的哈夫曼編碼就是110。

圖片

        使用霍夫曼樹有什么好處呢？首先，由于是二叉樹，之前計算量為V,現在變成了log2V。第二，由于使用霍夫曼樹是高頻的詞靠近樹根，這樣高頻詞需要更少的時間會被找到，這符合我們的貪心優化思想。

        有了哈夫曼樹，就有了哈夫曼編碼，我們這整個算法的核心就是：即對于給定的上下文，使得預測詞的哈夫曼編碼概率最大。如果你現在感到很疑惑，我來舉個例子：

        假設我們現在的語境是這一個簡單的只有四個單詞的document：{I drink coffee everyday}

我們選coffee作為中心詞，我們要根據單詞"I","drink"和"everyday"來預測一個單詞，并且我們希望這個單詞是coffee。將"I""drink""everyday"的one-hot向量作為輸入層的輸入

圖片

    最開始輸入層的權重w參數是隨機生成的，接下來將這三個向量x初始乘以初始權重：w*x=v

圖片

    將向量v求和并平均得到隱藏層的輸出向量c它：

圖片

        從輸入層到隱藏層的邏輯過程講解完畢，接下來講解隱藏層到輸出層。

        我們在這一層用語料庫中所有的詞根據詞頻(就是哈夫曼中的權重)構建了哈夫曼樹，這樣每個詞 w 都可以從樹的根結點root沿著唯一一條路徑被訪問到，其路徑也就形成了其全局唯一的二進制編碼code，如"010011"。而我們從根結點開始走左子樹還是右子樹的概率是根據邏輯回歸二分類算法判斷的，邏輯回歸算法sigmoid，輸入是負無窮到正無窮，輸出是0到1之前的概率，sigmoid g函數和其導數如下圖所示：

圖片

那么我們的輸出層的哈夫曼樹就可以表示成下圖：

圖片

        假設目標詞是足球，那么足球的哈夫曼編碼是1001。這里我們指定負例是1，正例是0，那么我們可以得到上圖的第1次，第2次直到第四次的結果，那么足球的概率就是前面所有結點的概率相乘。d是每個結點的哈夫曼編碼，那么我們目標詞的概率可以寫成如下似然函數p，取對數，d=1就是負例，d=0就是正例：

圖片

上面就是做了簡單的化簡，log連乘變成連加，log里面的指數放到log前面。接下來就是求這個似然函數的最大值，求極大值，我們都用梯度上升算法，那么下一步就是分別對變量x和c它求偏導數：

圖片

        求導很簡單，上面有詳細的求導過程，由此我們就得到了參數c它的更新公式，同樣再對x求偏導也可以得到x的更新公式。

        不過我們知道隱藏層的x是上下文詞向量的和，不是上下文單個單詞的詞向量，怎么把這個更新量應用到單個單詞的詞向量上去呢？這里我們采用的是直接將更新量應用到每個詞向量上去：

圖片

        還有一種提升訓練速度的方法就是負采樣，我們知道對于訓練語言模型來說，softmax層非常難算，畢竟你要預測的是當前位置是哪個詞，那么這個類別數就等同于詞典規模，因此動輒幾萬幾十萬的類別數，算softmax函數當然很費力啦。
        但是，如果我們的目標不在于訓練一個精準的語言模型，而只是為了訓練得到語言模型的副產物-詞向量，那么其實只需要用這里隱含的一個計算代價更小的“子任務”就好啦。想一想，給你10000張寫有數字的卡片，讓你找出其中的最大值，是不是特別費力？但是如果把里面的最大值事先抽出來，跟五張隨機抽取的卡片混到一起，讓你選出其中的最大值，是不是就容易多啦？
        負采樣就是這個思想，即不直接讓模型從整個詞表找最可能的詞了，而是直接給定這個詞（即正例）和幾個隨機采樣的噪聲詞（即采樣出來的負例），只要模型能從這里面找出正確的詞就認為完成目標啦。

        那么我們選擇哪些作為噪音呢？

        word2vec常用的負采樣策略有均勻負采樣、按詞頻率采樣等等。比較常用的采樣方法是一元分布模型的3/4次冪。該方法中，一個詞被采樣的概率，取決于這個詞在語料中的詞頻 ，其滿足一元分布模型(Unigram Model).

圖片

其中V為整個詞表大小,   f(wi)為詞wi的詞頻。

至于為什么選擇3/4呢？其實是由論文作者的經驗所決定的。

假設由三個詞，，”我“，”和平“，”覬覦“ 權重分別為 0.9 ，0.01，0.003；經過3/4冪后：

我: 0.9^3/4 = 0.92

和平：0.01^3/4 = 0.03

覬覦：0.003^3/4 = 0.012

對于”覬覦“而言，權重增加了4倍；”和平“增加3倍；”我“只有輕微增加。

可以認為：在保證高頻詞容易被抽到的大方向下，通過權重3/4次冪的方式，適當提升低頻詞、罕見詞被抽到的概率。如果不這么做，低頻詞，罕見詞很難被抽到，以至于不被更新到對應的Embedding。

        所以我們可以得到如下公式g，w表示正確的預測詞，u表示錯誤的負采樣，那么1-預測中心詞u的概率還是預測正確的概率，所以我們的目標還是使得g最大化，那么還是求似然函數，并求導：

圖片

那么求導還是一樣的方式，如下所示，對似然函數求偏導，然后得出更新的步長

圖片

圖片

本文轉載自 ??人工智能訓練營??，作者： 小A學習