大模型中的嵌入向量

作者：江南一點雨 2025-07-30 04:15:00

計算機無法直接對文本進行數學運算，需要先將文本（token）轉為張量，然后才可以進行數學運算，這個將文本轉為張量的過程，也就是詞嵌入（Embedding）。當然，當計算機運算完成后，Embedding 又需要逆向轉為具體的 token。

前面文章和小伙伴們聊了 Tokenizer，經過 Tokenizer 之后，自然語言變為 Token，那么大模型就可以直接訓練 Token 了嘛？還不行！

接下來還有一個詞嵌入的環境，英文就是 Embedding，Embedding 實際上就是將 Token 轉為張量，在有的場景下，Embedding 也指張量本身。

這里涉及到一個概念，張量，那么什么是張量呢？

標量 (Scalar)： 0 維張量，一個單一的數字 (溫度 = 25 是一個標量)。
向量 (Vector)： 1 維張量，一列數字 (貓的 Embedding = [0.21, -0.57, ..., 0.02] 就是一個向量，即 1 維張量)。
矩陣 (Matrix)： 2 維張量，一個二維表格或網格 (最重要的那個 Embedding Table/Lookup Table 就是一個 2 維張量！它的行數是詞表大小 V，列數是嵌入維度 D)。

說白了，張量就是多維數組，是存儲數值數據的通用容器。

簡單總結下，就是下面這樣：

圖片

一、Word Embedding 和 Position Embedding

1.1 Word Embedding

前面我們提到的 Embedding 算是一種 Word Embedding。

假設我們有一個文本語料，經過 Tokenizer 之后，得到 N 個 Token，每個 Token 都用一個 M 維的向量表示，那么最終我們就會得到一個 N * M 維張量。

舉個簡單例子，假設我現在有如下 Token：

每個 Token 對應了一個 M 維向量：

low:[0.6241,-0.3872,......,0.1593,-0.9017,0.4725]
new:[-0.2715,0.8362,......,-0.5147,0.1908,-0.9423]
er:[0.7321,-0.4156,......,0.2893,-0.6702,0.0549]

那么最終我們就會得到一個 N*M 維張量。

Token 在輸入大模型的時候，位置順序也是非常重要的，不同的位置順序往往就意味著不同的含義。

1.2 Position Embedding

為什么需要 Position Embedding？這和 Transformer 模型天生的“盲目性”有關。

Transformer 看詞是“一團亂麻”的： Transformer 的核心機制叫做“自注意力機制”。它可以讓模型在處理一個詞的時候，“同時”看到句子里的所有其他詞，并計算哪些詞是重要的。這就像你讀書時，不是從左到右一個字一個字看，而是一眼掃過整行（甚至整頁），同時關注每個字。

這就帶來了一個天然的缺陷：忽略順序信息。因為模型在計算一個詞如何影響另一個詞時，它并不知道這兩個詞在句子里的物理位置（誰前誰后、誰挨著誰）。它只看到“這個詞 A”和“那個詞 B”存在。

然而，在人類在語言中，詞出現的順序至關重要！“狗咬人”和“人咬狗”意思完全相反，詞一樣，但順序變了，意義就顛倒了。再比如，“我愛你”和“你愛我”傳達的情感對象也完全不同。

因此，我們需要一個能標記 Token 順序的東西，這就是 Position Embedding。

Position Embedding 就是為了解決這個“不知道誰先誰后”的問題。

Position Embedding 的原理很簡單：

給每個位置一個“地址”：對句子里的每個位置（比如第 1 個位置、第 2 個位置……第 512 個位置），我們生成一個獨特的、固定模式的“編碼向量”。
把位置“地址”加到詞上：句子輸入模型時，每個詞有自己的表示也就是 Word Embedding。然后，我們把這個詞的位置對應的位置編碼向量加到詞的表示上，也就是 Word Embedding + Position Embedding。
模型學會利用位置信息：通過這種方式，模型在計算詞語之間的關系（自注意力）時，不僅能知道“蘋果”這個詞存在，還能通過那個獨特的“地址”，感知到：當“蘋果”出現在句首（位置 1）時，它作為主語的傾向更強；當“蘋果”出現在“我吃”之后（比如位置 4），那它更大概率是賓語；“蘋果”緊挨著“大的”（位置相鄰），那是在描述這個蘋果的特性。

1.3 融合計算

Word Embedding 和 Position Embedding 通過簡單的向量加法融合，生成最終輸入表示：

具體操作步驟是這樣（以下均為模擬數據）：

生成詞嵌入：輸入序列 ["我", "愛", "NLP"]，通過詞嵌入矩陣映射為向量：

"我" → [0.2, -1.3, 0.8, 0.5]

"愛" → [1.1, 0.4, -0.2, 0.9]

"NLP" → [-0.5, 1.7, 0.3, -0.1]

生成位置嵌入，這塊有兩種方案，一種是原始 Transformer 方案，使用正弦/余弦函數生成固定編碼，還有一種是 ChatGPT/GPT 系列方案，這種可學習的位置嵌入，通過訓練更新位置向量參數。這里我們來看下第一種。

- 其中 pos 為位置序號，i 為維度索引。
- 例如位置 0 的編碼：[0.0, 1.0, 0.0, 1.0]
- 位置 1 的編碼：[0.84, 0.54, 0.0, 1.0]

相加融合每個位置的詞嵌入與位置嵌入逐元素相加：

位置0（“我”）: [0.2, -1.3, 0.8, 0.5] + [0.0, 1.0, 0.0, 1.0] = [0.2, -0.3, 0.8, 1.5]

位置1（“愛”）: [1.1, 0.4, -0.2, 0.9] + [0.84, 0.54, 0.0, 1.0] = [1.94, 0.94, -0.2, 1.9]

經過上面的融合計算之后，由于加法操作不改變向量空間維度，且能保留兩種嵌入的線性關系，因此模型通過后續的自注意力機制，可同時學習詞匯語義和位置依賴關系。并且還能實現同一詞匯在不同位置可能獲得不同表示（如“蘋果”在句首偏向公司名，在句中可能指水果）。

ChatGPT 通過向量加法融合詞嵌入（語義）和位置嵌入（順序），生成兼具詞匯含義和位置信息的輸入表示。這一設計是 Transformer 理解語言結構的核心基礎：沒有位置嵌入，模型無法區分“貓追狗”和“狗追貓”；沒有詞嵌入，模型無法理解“貓”和“狗”的語義關系。兩者的結合使模型能夠動態捕捉上下文相關的語義，支撐其強大的語言生成能力。

二、Segment Embedding

Segment Embedding 是大語言模型（如 BERT）中用于區分輸入序列中不同句子或邏輯段落的關鍵組件。它通過為不同片段分配唯一的向量標識，幫助模型理解句子邊界和段落關系，尤其在處理多句輸入的任務中至關重要。

比如我們在和 DeepSeek 對話時，每當我們發送一個問題時，實際上會把之前對話的上下文也作為輸入一起發送給大模型，此時就需要區分之前對話內容中，哪些是我們提問的問題，哪些是大模型的回答。

Segment Embedding 通過為不同句子分配獨立的向量標識（如句子 A 用 0、句子 B 用 1），使模型能識別它們屬于不同邏輯單元。

Segment Embedding 是一個可學習的嵌入矩陣，維度與 Token Embedding 相同（如 BERT-base 為 768 維）。每個分段類型（A/B）對應一個唯一向量，直接與 Token Embedding、Position Embedding 逐元素相加，形成最終輸入表示。

換句話說，我們最終輸入給大模型的 Embedding 應該是這樣的：

三、為什么需要 Embedding

Embedding 主要解決了語言的離散性與模型計算的連續性之間的問題，將離散的語言問題，變為了可計算的數學問題。

通過 Embedding，我們就可以通過余弦距離計算語義之間的相似性，如 vec("貓") 與 vec ("狗") 的相似度 >> vec ("貓") 與 vec ("汽車") 的相似度，也可以進行語義之間的類比關系，如 vec("巴黎") - vec("法國") ≈ vec("東京") - vec("日本")。

責任編輯：武曉燕來源：江南一點雨