在個人工作中、公司經營中，都會積累大量的非結構化數據：如圖片、語音、文字、視頻，我們希望計算機能理解它們的含義，并根據含義進行搜索。比如，找出所有外觀類似的T恤，或者找到和這句話意思差不多的文章。這種基于相似度的搜索，是傳統數據庫的短板。

那么，AI是如何理解并處理這種“相似”概念的呢？這就引出了我們今天的主題：向量數據庫，以及它背后的核心技術。

向量表示與Embedding

要讓計算機理解“相似”，第一步是把現實世界的各種信息，轉化成計算機能處理的數字形式。這個轉化過程，在AI領域被稱為Embedding（嵌入）或向量化。

簡單來說，Embedding就是把圖片、文字、音頻等復雜的對象，映射成一個由數字組成的向量（Vector）。這個向量生活在一個高維的數學空間里，它的每一個維度（維度可以很高，從幾十到幾千不等）都捕捉了原始對象某個方面的特征。

以詞向量（Word Embedding）為例，這是一個非常經典的例子。通過大規模文本數據的訓練，我們可以把每一個詞語轉化為一個固定長度的數字向量。這些向量的神奇之處在于，它們捕捉了詞語的語義信息。例如，通過計算，你可能會發現，在向量空間中，從“法國”到“巴黎”的“方向”和“距離”，與從“意大利”到“羅馬”的“方向”和“距離”非常相似。

向量運算捕捉到了詞語之間的關系，語義上越接近的詞語，它們對應的向量在向量空間中的位置就越接近，也就是“距離”越近。而具有相似關系（如都是某個國家的首都）的詞對，它們在向量空間中的相對位置關系也相似。

不僅是詞語，圖片、聲音，甚至用戶行為序列、分子結構等等，都可以通過相應的Embedding模型，轉化為向量。這些向量，就成為了AI理解和衡量“相似”的基礎。

相似度計算方法

既然相似的事物在向量空間中距離相近，那我們怎么量化這個距離或相似度呢？有幾種常用的數學方法。

余弦相似度（Cosine Similarity） 通過計算兩個向量夾角的余弦值來衡量相似度，夾角越小，余弦值越接近1，表明向量方向越一致，語義上也就越相似，這種方法更側重于向量的方向匹配，常用于文本分析和推薦系統。歐氏距離（Euclidean Distance） 則計算兩個向量在多維空間中的直線距離，距離越小，向量越接近，相似度越高，它同時考慮了向量的方向和大小，在圖像識別等領域更為常見。此外，點積（Dot Product），或稱內積，也是一種度量方式，當向量經過 L2 歸一化后，點積的值與余弦相似度相等；在未歸一化的情況下，點積則同時反映了向量的相似度以及它們的“強度”或“大小”。

選擇哪種度量方式，取決于具體的應用場景和Embedding模型的特性。但核心思想是一致的：通過計算向量之間的數學距離或夾角，來量化它們代表的原始對象的相似程度。

大規模向量檢索的挑戰

現在我們有了大量的向量，也知道如何計算它們之間的相似度。假設我們有1億張圖片的向量，用戶上傳一張圖片，我們想找出數據庫里最相似的10張圖。

最直觀的方法是，把查詢向量Q和數據庫里的所有1億個向量挨個計算相似度，然后排序取出最相似的10個。這被稱為窮舉搜索（Brute-force Search）或線性掃描。

但是，即使計算機計算速度再快，1億次相似度計算的開銷也是巨大的，這還不考慮向量維度很高時單次計算的復雜性（所謂的“維度災難”）。對于需要毫秒級響應的在線應用（如實時推薦、即時搜索），這種方法是不可行的。

我們需要一種更高效的方法，能夠在大規模向量數據集中快速找到與查詢向量“足夠相似”的向量，即使它不一定是理論上最近的那一個。這就引出了近似最近鄰搜索（Approximate Nearest Neighbor Search, ANN）技術。

ANN算法的核心思想是：犧牲一定的精度，換取極高的檢索速度。 它不像窮舉搜索那樣保證找到絕對最近的那個，而是在很短的時間內找到一個“足夠近”的結果。在很多應用中（比如推薦系統，“足夠像”的商品就夠了，不一定非得是理論上最像的），這種近似是完全可以接受的。

主流ANN算法剖析

目前工業界廣泛應用的算法主要有兩類。

一類是基于圖的索引（Graph-based Index），其中代表性算法是 HNSW（Hierarchical Navigable Small World）。

它通過構建一個分層的圖結構來組織向量，圖的不同層級連接著不同距離的鄰居向量，層級越高，連接的距離越遠。

搜索時，算法從圖的頂層開始，通過貪婪地選擇離查詢向量更近的鄰居來快速導航，然后逐層向下，直到精確定位。這種結構使得HNSW兼具高速度、高召回率，并且支持動態地添加或刪除向量，是目前綜合性能非常優秀的算法。

你可以將它類比為在一個城市地圖上導航：先利用高速公路（高層）快速接近目的地，再轉入主干道（中間層），最后進入小巷（底層）找到具體位置。

另一類是 基于倒排索引的方法（Inverted Index），以 IVF（Inverted File）為代表。

其原理類似于聚類，先將整個向量空間劃分為若干個區域（或稱簇、倒排桶），每個區域有一個中心向量。

向量插入時，被分配到離它最近的簇中。搜索時，只需計算查詢向量與所有簇中心的距離，選取最近的少數幾個簇，然后僅在這些選定的簇內部進行搜索，這通過大大縮小搜索范圍而顯著提升了速度。

IVF常與乘積量化（Product Quantization, PQ）技術結合形成 IVF-PQ，PQ通過壓縮向量進一步減少存儲和計算開銷，使得IVF在處理超大規模數據時更為高效。

IVF的搜索過程就像在圖書館找書：先根據圖書分類（簇）確定書可能在哪個書架區域，然后只在該區域內查找，而不是遍歷整個圖書館。這些巧妙的算法是向量數據庫能夠實現大規模向量數據高速檢索的關鍵。

向量數據庫的其他功能

不過向量數據庫不僅僅是一個ANN庫，而是一個具備完整功能的系統。

除了核心的向量索引和檢索能力，它還需要提供除了核心的向量索引和檢索能力，一個成熟的向量數據庫還需要提供全面的數據管理功能，支持向量數據的插入、刪除、更新以及按照唯一標識符（ID）進行查找。

同時，許多實際應用中，我們不僅需要存儲向量，還需要存儲與這些向量關聯的結構化或半結構化數據，即元數據（例如，一張圖片的拍攝時間、一個商品的顏色或價格、一段文本的作者等），因此，向量數據庫必須支持對這些元數據進行高效過濾查詢，例如實現“查找所有價格低于100元，并且圖片與某張圖相似的商品”這樣的復雜查詢，這通常需要結合向量索引和傳統的元數據索引協同工作。為了保證數據安全和可靠，持久化能力必不可少，向量數據和索引需要能夠可靠地存儲在磁盤等介質上，并通過高效的存儲格式（如利用內存映射MMap技術）和后臺的數據合并、索引重構來優化存儲和訪問效率。此外，面對海量向量數據和高并發的查詢請求，現代向量數據庫通常采用分布式架構，將數據分散存儲在多個節點上，并支持查詢的并行處理，從而實現系統的可擴展性和橫向擴容。為了確保服務的連續性，高可用性與容災機制也至關重要，通過數據副本和自動故障切換，保證即使部分節點出現問題，整個系統仍能繼續對外提供服務。這些綜合能力使得向量數據庫成為一個強大、可靠的數據平臺，能夠支撐各種復雜的AI應用場景。

總結 

從給詞語、圖片等打上數字烙印（向量化），到用數學方法衡量相似度，再到利用ANN算法解決海量向量的快速檢索難題，最終發展出具備完整數據庫功能的向量數據庫系統。