大家好，我是玄姐。

通過將原始輸入轉化為固定維度的高維向量以捕捉語義信息，Embedding（嵌入）模型在構建 RAG、推薦系統，甚至自動駕駛模型訓練中都發揮著極為關鍵的作用。近年來，OpenAI、Meta、Google、阿里、騰訊等科技巨頭紛紛加大對 Embedding 模型研發的投入。以 OpenA I為例，其最新推出的 text-embedding-3-small 模型能夠生成1536維向量，在保持高語義表達能力的同時，實現了更低的延遲和更小的模型體積，非常適合對性能要求較高的大規模語義檢索場景。阿里和騰訊最近也推出了 Qwen3-Embedding 和 Conan-Embedding-V2。

那么，我們該如何選擇合適的 Embedding 模型？本文將提供一個實用的評估框架，幫助大家根據自身需求挑選出最適合的 Embedding 模型。

一、明確任務和業務需求

在選擇合適的模型之前，我們需要先明確核心目標，這將直接影響模型的選擇和應用效果。以下是幾個關鍵的考慮因素：

1、任務類型

• 語義搜索：需要能夠捕捉查詢與文檔之間語義細節的模型，比如： Sentence-BERT。這類模型能夠確保相似的概念在向量空間中彼此接近。
• 分類任務：Embedding 需要反映類別結構，使得相同類別的輸入在向量空間中更接近，便于下游分類器進行區分。常用的模型包括 DistilBERT 和 RoBERTa。
• 推薦系統：Embedding 需要反映用戶與物品之間的關聯，可以采用基于隱反饋訓練的模型，比如：神經協同過濾（NCF）。

2、ROI 評估

• 根據業務需求權衡性能與成本。對于一些關鍵任務（比如：醫療診斷），提升準確率可能至關重要，甚至關乎生死，因此可以接受使用更昂貴但更精準的模型。而對于高并發且對成本敏感的應用，則需要仔細評估性能提升是否值得投入更多成本。

3、其他限制條件

• 多語言支持：通用模型通常對非英語內容表現不佳，可能需要使用專門針對多語言設計的模型。
• 專業領域支持：通用模型可能無法理解特定術語，比如：醫療領域的“stat”或法律領域的“consideration”。在這種情況下，需要考慮使用專業領域的模型，比如：BioBERT（生物醫學領域）或 LegalBERT（法律領域）。
• 硬件/延遲要求：模型的體積和推理速度會直接影響部署的可行性。如果應用場景對實時性要求較高，就需要選擇推理速度快、模型體積較小的模型。通過綜合考慮這些因素，我們可以更精準地選擇適合的 Embedding 模型，從而實現最優的應用效果。

二、評估數據特性

在選擇模型時，數據的特性是關鍵因素之一。以下是需要考慮的幾個方面：

1、數據模態

• 文本數據：適合使用專門針對文本設計的模型，如 BERT 或 Sentence-BERT。
• 圖像數據：可選擇 CNN（卷積神經網絡）或 Vision Transformer 等圖像處理模型。
• 音頻數據：可使用 CLAP 或 PNN 等音頻處理模型。
• 多模態數據：如果數據包含文本、圖像、音頻等多種類型，可選擇 CLIP 或 MagicLens 等多模態模型。

2、領域特定性

雖然像 OpenAI 這樣的通用模型在處理大眾話題時表現出色，但在醫療、法律等專業領域，它們可能無法捕捉到細微差別。在這種情況下，可能需要使用行業專用模型，如 BioBERT（生物醫學領域）或 LegalBERT（法律領域）。

3、Embedding 類型選擇

• 稀疏 Embedding（如 BM25）：擅長關鍵詞匹配，適用于需要精確匹配的場景。
• 稠密 Embedding（如 BERT）：擅長語義理解，適用于需要捕捉語義相似性的場景。
• 混合方案：在實踐中，通常會結合稀疏 Embedding 和稠密 Embedding 的優勢。例如，使用稀疏 Embedding 進行精準匹配，同時利用稠密 Embedding 進行語義召回，以實現更全面的檢索效果。

三、調研可用模型

在明確了任務需求和數據特性之后，接下來便是對候選模型進行調研。以下是調研過程中需要關注的要點：

1、模型的受歡迎程度

選擇那些社區活躍、使用廣泛的模型通常更為穩妥。這類模型往往具備以下優勢：遇到問題時更容易找到解決方案，更新迭代速度快，且通常擁有豐富的文檔資料可供參考。

• 文本領域：可考慮 OpenAI Embeddings、阿里 Qwen3-Embedding、騰訊 Conan-Embedding-V2、Sentence-BERT、E5/BGE 等模型。
• 圖像領域：ViT（Vision Transformer）、ResNet 是常見的選擇；如果需要處理文本與圖像對齊的任務，CLIP、SigLIP 等模型則更為適用。
• 音頻領域：PNN、CLAP 等模型是不錯的選擇。

2、版權與許可

• 開源模型：采用如 MIT、Apache 2.0 等開源許可的模型，適合自行搭建部署。它們提供了較高的靈活性，但同時也需要具備一定的運維能力來保障其穩定運行。
• 第三方 API 模型：部署相對簡單，但通常需要持續支付費用，且可能會引發數據隱私和合規性方面的顧慮。在金融、醫療等對數據安全要求極高的行業，自托管部署可能是唯一可行的選擇。

四、評估候選模型

在初步篩選模型后，需要在真實數據上進行測試，以評估模型的實際質量。以下是詳細的測試步驟和要點：

1、質量評估

關注指標

• 語義檢索和 RAG 應用：重點關注結果的真實性（faithfulness）、相關性（relevance）、上下文精度和召回率。
• 評估工具：可以使用 Ragas、DeepEval、Phoenix、TruLens-Eval 等工具來統一評估流程，確保評估的標準化和客觀性。

2、數據集選擇

數據集的質量和多樣性對評估結果至關重要：

• 真實案例：使用實際業務場景中的數據，確保測試結果貼近真實應用。
• LLM 合成數據：利用大型語言模型生成合成數據，豐富測試樣本。
• 工具輔助：使用 Ragas、FiddleCube 等工具構造數據集，提升測試的全面性。

3、基準測試

公開基準

• 文本數據：參考 MTEB（Multilingual Text Embedding Benchmark）等公開基準測試。

    a.Embedding 向量維度：向量的長度，即模型輸出的維度。

    b.最大 Token 數：輸入文本的最大長度。

    c.MTEB 排行榜：HuggingFace 的 MTEB leaderboard 提供了文本 Embedding 模型的綜合性能排名。可以通過“Retrieval Average”列進行降序排序，篩選出排名高且內存占用小的模型。

    d.過濾條件：可以根據語言（如法語、英語、中文、波蘭語）、領域（如法律文本）等條件進一步篩選，確保模型符合特定需求。

    e.關鍵參數：尺寸選擇

注意事項

場景差異：不同應用場景下，模型表現可能大相徑庭。即使在通用基準測試中表現優異，也可能在實際環境中不盡如人意。

自定義測試：使用自己的數據樣本進行測試，避免模型對基準測試數據過擬合，確保其在實際數據上的表現符合預期。

4、負載測試

自部署模型

• 并發請求模擬：在自部署模型時，需要模擬真實環境下的并發請求，測試 GPU 利用率、內存占用、吞吐量和延遲。
• 高負載表現：有些模型在單機測試時表現良好，但在高負載下可能會因資源消耗過大而無法滿足上線要求。

5、常見基準測試榜單

（1）文本數據

• MTEB 排行榜：HuggingFace 的 MTEB leaderboard 是一個全面的文本 Embedding 模型榜單。

    a.Embedding 向量維度：模型輸出的向量長度。

    b.最大 Token 數：輸入文本的最大長度。

• 排序依據：按“Retrieval Average”降序排列，篩選出排名高且內存占用小的模型。
• 過濾條件：支持多種語言（如法語、英語、中文、波蘭語）和特定領域（如法律文本）。
• 關鍵參數：

（2）圖像數據

• ResNet50：一種流行的 CNN 模型，最初由微軟在 2015 年使用 ImageNet 數據訓練。

    a.圖像搜索：可用于搜索與輸入圖像相似的圖片，例如搜索更多蘇格蘭折耳貓的圖片。

    b.視頻搜索：將視頻幀轉換為 Embedding 向量，進行相似性搜索，返回最相似的視頻作為結果。

（3）音頻數據

• PANNs（Pre-trained Audio Neural Networks）：常用的音頻搜索 Embedding 模型，基于大規模音頻數據集預訓練，擅長音頻分類和標記任務。

    a.音頻搜索：類似于以圖搜圖，通過輸入音頻片段搜索相似音頻。

（4）多模態圖像與文本數據

• SigLIP：谷歌在 2024 年推出的多模態 Embedding 模型，基于 zero-shot prompt 表現優異。

    a.多模態任務：支持使用文本搜索圖像、為圖像生成文本描述或以圖搜圖。

    b.對比模型：OpenAI 的 CLIP 是早期的多模態 Embedding 模型，但需要用戶自行微調，使用門檻較高。

（5）多模態文本、音頻、視頻數據

• 多模態文本-音頻 RAG 系統：使用多模態生成型 LLM，將音頻轉換為文本，生成聲音-文本對，然后將文本轉換為 Embedding 向量進行檢索，最后將文本映射回音頻。

    a.工具：OpenAI 的 Whisper 可以將語音轉錄為文本，Text-to-speech (TTS) 模型可以將文本轉換為音頻。

• 多模態文本-視頻 RAG 系統：將視頻映射到文本，轉換為 Embedding 向量進行檢索，最后返回視頻作為搜索結果。

    a.工具：OpenAI 的 Sora 可以將文本轉換為視頻，支持通過靜態圖像或其他視頻生成視頻。

通過以上測試和評估流程，可以全面了解模型在實際應用中的表現，從而選擇最適合的模型。

五、集成部署規劃

在選定合適的模型之后，接下來需要考慮如何將其集成到系統中。以下是集成策略的關鍵要點：

1、權重選擇

• 預訓練權重：直接使用預訓練權重可以快速啟動項目，適合通用場景。但如果需要針對特定領域進行定制化，可能需要進一步微調。
• 微調權重：微調可以顯著提升模型在特定任務或領域的表現，但需要投入時間和資源進行訓練。在此過程中，需要仔細評估微調的投入產出比，確保收益大于成本。

2、部署方式選擇

• 自托管部署：

    a.優勢：具有更強的控制力，能夠優化資源使用，降低大規模部署的成本，同時確保數據的私密性和安全性。

    b.挑戰：需要具備一定的運維能力，包括硬件資源管理、軟件更新、故障排除等。

• 云服務 API：

    a.優勢：部署速度快，無需擔心底層基礎設施的維護，節省運維精力。

    b.挑戰：可能存在網絡延遲問題，且隨著調用次數的增加，成本會逐漸累積。此外，數據隱私和合規性也需要特別關注。

3、系統集成設計

• API 設計：設計簡潔、高效的 API 接口，確保模型能夠無縫集成到現有系統中，同時便于后續的擴展和維護。
• 緩存策略：合理設計緩存機制，可以減少重復計算，提高系統的響應速度和吞吐量。例如，對于常見的查詢請求，可以將結果緩存起來，避免每次都重新計算。
• 批處理方案：對于一些計算密集型的任務，可以采用批處理的方式進行優化，提高資源利用率，降低單次請求的延遲。
• 向量數據庫選擇：選擇合適的向量數據庫來存儲和檢索 Embedding，這對于提高檢索效率至關重要。常見的向量數據庫包括 Milvus、Faiss 等，它們提供了高效的相似性搜索功能，能夠快速找到與目標向量最接近的記錄。

通過綜合考慮這些集成策略，可以確保模型在實際應用中發揮最大的價值，同時保障系統的穩定性和可擴展性。

六、總結

選型的核心在于遵循以下六個關鍵步驟：

1、明確業務目標與任務類型

清晰定義業務需求和目標，確定任務的具體類型（比如：語義檢索、分類、推薦等），這是選型的基礎。

2、分析數據特性與領域需求

深入了解數據的模態（文本、圖像、音頻等）、領域特性（如醫療、法律等）以及具體的技術要求，確保模型能夠匹配數據和業務需求。

3、調研現有模型與授權模式

廣泛調研當前可用的模型，評估其性能、社區支持、更新頻率等。同時，關注模型的授權模式（比如：開源、云服務API等），并考慮其對業務的長期影響。

4、用測試集和基準測試嚴格評估

使用真實數據集和行業標準的基準測試（benchmark）對候選模型進行嚴格評估。重點關注模型在實際業務場景中的表現，而不僅僅是理論性能。

5. 設計部署與集成方案

根據業務需求和技術環境，設計合適的部署方式（比如：自托管或云服務）和系統集成方案，包括API設計、緩存策略、批處理等。

6、進行全鏈路上線前測試

在正式上線前，進行全面的測試，包括功能測試、性能測試、負載測試等，確保系統在實際運行中的穩定性和可靠性。

關鍵原則

要牢記，最適合的模型并非總是基準測試分數最高的，而是最符合業務實際需求和技術約束的模型。在 Embedding 模型快速發展的當下，建議定期回顧現有選型，持續關注新技術和新模型，及時替換那些可能帶來顯著收益的解決方案。

好了，這就是我今天想分享的內容。

本文轉載自??玄姐聊AGI??  作者：玄姐