語義向量模型（Embedding Model）已經被廣泛應用于搜索、推薦、數據挖掘等重要領域。

在大模型時代，它更是用于解決幻覺問題、知識時效問題、超長文本問題等各種大模型本身制約或不足的必要技術。然而，當前中文世界的高質量語義向量模型仍比較稀缺，且很少開源。

為加快解決大模型的制約問題，近日，智源發布最強開源可商用中英文語義向量模型BGE（BAAI General  Embedding），在中英文語義檢索精度與整體語義表征能力均超越了社區所有同類模型，如OpenAI 的text embedding 002等。此外，BGE 保持了同等參數量級模型中的最小向量維度，使用成本更低。

FlagEmbedding：https://github.com/FlagOpen/FlagEmbedding

BGE 模型鏈接：https://huggingface.co/BAAI/

BGE 代碼倉庫：https://github.com/FlagOpen/FlagEmbedding

C-MTEB 評測基準鏈接：https://github.com/FlagOpen/FlagEmbedding/tree/master/benchmark

本次BGE模型相關代碼均開源于FlagOpen飛智大模型技術開源體系旗下FlagEmbedding項目，一個聚焦于Embedding技術和模型的新版塊。智源研究院將持續向學術及產業界開源更為完整的大模型全棧技術。

與此同時，鑒于當前中文社區缺乏全面的評測基準，智源團隊發布了當前最大規模、最為全面的中文語義向量表征能力評測基準C-MTEB（Chinese Massive Text Embedding Benchmark），包含6大類評測任務和31個數據集，為評測中文語義向量的綜合表征能力奠定可靠的基礎，全部測試數據以及評測代碼已開源。

值得大模型應用開發者關注的好消息：將 LangChain 與智源BGE結合，可以輕松定制本地知識問答助手，而不需要花較高的成本訓練垂類大模型。

檢索精度大幅領先，中英文共87個任務上表現優異

BGE 是當前中文任務下最強語義向量模型，各項語義表征能力全面超越同類開源模型。

中文語義向量綜合表征能力評測 C-MTEB 的實驗結果顯示（Table 1），BGE中文模型（BGE-zh）在對接大語言模型最常用到的檢索能力上領先優勢尤為顯著，檢索精度約為 OpenAI Text Embedding 002 的1.4倍。

Table 1. 中文語義向量綜合表征能力評測（C-MTEB）

注：Model Size一列中Base ~100M，Large ~300M，XXL ~11BBGE w.o. Instruct: BGE輸入端沒有使用instruction

與中文能力相類似，BGE 英文模型（BGE-en）的語義表征能力同樣出色。根據英文評測基準 MTEB 的評測結果（Table 2），盡管社區中已有不少優秀的基線模型，BGE 依然在總體指標（Average）與檢索能力（Retrieval）兩個核心維度超越了此前開源的所有同類模型。

同時，BGE 的各項能力都顯著超越社區中最為流行的選項：OpenAI Text Embedding 002。

Table 2. 英文語義向量綜合表征能力評測（MTEB）注：Model Size一列中 Base ~100M，Large ~300M，XXL ~11B

Figure 1. 中文C-MTEB（左）、英文MTEB（右）注：BGE為紅色，OpenAI Text Embedding 002為藍色

中文語義向量，全面評測基準 C-MTEB  

此前，中文社區一直缺乏全面、有效的評測基準，BGE 研究團隊依托現有的中文開源數據集構建了針對中文語義向量的評測基準 C-MTEB（Chinese Massive Text Embedding Benchmark，如 Table 3所示）。

C-MTEB 的建設參照了同類別英文基準 MTEB [12]，總共涵蓋6大類評測任務（檢索、排序、句子相似度、推理、分類、聚類），涉及31個相關數據集。

C-MTEB 是當前最大規模、最為全面的中文語義向量評測基準，為可靠、全面的測試中文語義向量的綜合表征能力提供了實驗基礎。

目前，C-MTEB 的全部測試數據以及評測代碼已連同 BGE 模型一并開源。

Table 3. C-MTEB 評測任務維度及數據集

技術亮點：高效預訓練+大規模文本對微調

BGE 出色的語義表征能力源于兩方面要素：1）針對表征的預訓練，2）大規模文本對訓練。

BGE 在悟道 [10]、Pile [11] 兩個大規模語料集上采取了針對表征的預訓練算法 RetroMAE [5,6]（Figure 2）：將低掩碼率的輸入編碼為語義向量（Embed），再將高掩碼率的輸入與語義向量拼接以重建原始輸入。這樣一來，BGE 得以利用無標簽語料實現語言模型基座對語義表征任務的適配。

Figure 2. RetroMAE 預訓練算法示意

BGE 針對中文、英文分別構建了多達120M、232M的樣本對數據，從而幫助模型掌握實際場景中各種不同的語義匹配任務，并借助負采樣擴增 [7] 與難負樣例挖掘 [8] 進一步提升對比學習的難度，實現了多達65K的負樣本規模，增強了語義向量的判別能力。

另外，BGE 借鑒 Instruction Tuning [9] 的思想，采取了非對稱的指令添加方式，在問題端添加場景描述， 提升了語義向量在多任務場景下的通用能力，如Figure 3所示：

Figure 3. 注入場景提示提升多任務通用能力

綜上，BGE 是當前性能最佳的語義向量模型，尤其在語義檢索能力上大幅領先。

其卓越的能力為構建大語言模型應用（如閱讀理解、開放域問答、知識型對話）提供了重要的功能組件。相較于此前的開源模型，BGE 并未增加模型規模與向量的維度，因而保持了相同的運行、存儲效率。

目前，BGE 中英文模型均已開源，代碼及權重均采用 MIT 協議，支持免費商用。

作為智源「FlagOpen大模型技術開源體系」的重要組成部分，BGE 將持續迭代和更新，賦能大模型生態基礎設施建設。

BGE 模型鏈接：https://huggingface.co/BAAI/

BGE 代碼倉庫：https://github.com/FlagOpen/FlagEmbedding

FlagOpen官網：https://flagopen.baai.ac.cn/

語義向量模型知識拓展

1. 語義向量模型是什么？

語義向量模型（Embedding Model）被廣泛應用于搜索、推薦、數據挖掘等重要領域，將自然形式的數據樣本（如語言、代碼、圖片、音視頻）轉化為向量（即連續的數字序列），并用向量間的“距離”衡量數據樣本之間的“相關性” 。

2. 大模型時代，幫助緩解幻覺問題、長期記憶挑戰等的必要技術

- 與時俱進獲取知識

只能基于模型訓練中的階段性「死板」知識儲備，是導致大模型在回答問題時出現幻覺的重要因素。而借助語義向量模型的幫助，大模型可以獲取與時俱進的「活知識」，答案又新又準。具體而言，通過語義向量模型建立某個垂直領域的知識庫索引（Index），可以為大模型高效補充世界知識、本地知識：當用戶向LLM提問時，LLM 會從最新最全知識庫中獲取答案。

- 提升大模型長期記憶

大模型困長期記憶久已，現有LLM存在上下文輸入長度限制，制約了長文本方面的處理能力。利用語義向量模型，可將長文檔結構化，與LLM更好地直接交互，從而彌補長文本處理能力短板。

3. LangChain等大模型明星應用的關鍵力量

OpenAI、Google、Meta 等廠商均推出了針對大模型的語義向量模型及API服務，直接促進了全球大模型開發者社區誕生了眾多有影響力的大模型應用框架及工具：諸如大模型應用框架 LangChain、向量存儲數據庫Pinecone、文檔格式化索引工具Llama Index、自主「思考」步驟并完成任務的助手AutoGPT 等。