譯者 | 布加迪

審校 | 重樓

當(dāng)您瀏覽Twitter、LinkedIn或新聞源上的時(shí)間軸時(shí)，可能會(huì)看到一些關(guān)于聊天機(jī)器人、LLM和GPT的內(nèi)容。因?yàn)槊恐芏加行碌?/span>LLM發(fā)布，很多人都在談?wù)?/span>LLM。

我們目前置身于一場(chǎng)人工智能革命，許多新應(yīng)用都依賴(lài)于向量嵌入。不妨讓我們更多地了解向量數(shù)據(jù)庫(kù)以及為什么它們對(duì)LLM很重要。

向量數(shù)據(jù)庫(kù)的定義

不妨先定義向量嵌入（Vector Embedding）。向量嵌入是一種數(shù)據(jù)表示，它攜帶語(yǔ)義信息，幫助人工智能系統(tǒng)更好地理解數(shù)據(jù)，并能夠保持長(zhǎng)期記憶。對(duì)于任何您想學(xué)的新東西，最重要的部分是理解并記住主題。

嵌入是由人工智能模型生成的，比如含有大量特征的LLM，這使得它們的表示難以管理。嵌入表示數(shù)據(jù)的不同維度，以幫助AI模型理解不同的關(guān)系、模式和隱藏結(jié)構(gòu)。

使用基于標(biāo)量的傳統(tǒng)數(shù)據(jù)庫(kù)的向量嵌入是一個(gè)挑戰(zhàn)，因?yàn)樗?/span>無(wú)法處理或跟上數(shù)據(jù)的規(guī)模和復(fù)雜性。鑒于向量嵌入具有的種種復(fù)雜性，不難想象它需要專(zhuān)門(mén)的數(shù)據(jù)庫(kù)。這時(shí)候向量數(shù)據(jù)庫(kù)就有了用武之地。

向量數(shù)據(jù)庫(kù)為向量嵌入的獨(dú)特結(jié)構(gòu)提供了經(jīng)過(guò)優(yōu)化的存儲(chǔ)和查詢(xún)功能。它們提供簡(jiǎn)單的搜索、高性能、可擴(kuò)展性和數(shù)據(jù)檢索，這一切都是通過(guò)比較值和查找彼此之間的相似性來(lái)實(shí)現(xiàn)的。

是不是聽(tīng)起來(lái)很棒？有一種方法可以處理向量嵌入的復(fù)雜結(jié)構(gòu)。不過(guò)向量數(shù)據(jù)庫(kù)很難實(shí)現(xiàn)。

就在不久前，向量數(shù)據(jù)庫(kù)還只被那些不僅有能力開(kāi)發(fā)而且有能力管理的科技巨頭所使用。向量數(shù)據(jù)庫(kù)成本高昂，因此確保它們經(jīng)過(guò)正確校準(zhǔn)對(duì)于提供高性能非常重要。

向量數(shù)據(jù)庫(kù)是如何工作的？

現(xiàn)在我們對(duì)向量嵌入和向量數(shù)據(jù)庫(kù)有了一定的了解，不妨看看它是如何工作的。

不妨從一個(gè)處理ChatGPT等LLM的簡(jiǎn)單示例開(kāi)始。該模型有大量的數(shù)據(jù)和大量的內(nèi)容，它們?yōu)槲覀兲峁┝?/span>ChatGPT應(yīng)用程序。

不妨看看這些步驟。

1. 作為用戶(hù)，您將往該應(yīng)用程序輸入查詢(xún)。

2. 然后您的查詢(xún)被插入到嵌入模型中，該模型基于我們想要索引的內(nèi)容創(chuàng)建向量嵌入。

3. 然后向量嵌入移動(dòng)到向量數(shù)據(jù)庫(kù)中。

4. 向量數(shù)據(jù)庫(kù)生成輸出，并將其作為查詢(xún)結(jié)果發(fā)回給用戶(hù)。

當(dāng)用戶(hù)繼續(xù)進(jìn)行查詢(xún)時(shí)，它將通過(guò)相同的嵌入模型來(lái)創(chuàng)建嵌入，以查詢(xún)?cè)摂?shù)據(jù)庫(kù)中類(lèi)似的向量嵌入。向量嵌入之間的相似性基于創(chuàng)建嵌入的原始內(nèi)容。

想知道更多關(guān)于其在向量數(shù)據(jù)庫(kù)中的工作原理嗎？不妨了解更多。

傳統(tǒng)數(shù)據(jù)庫(kù)以行和列的形式存儲(chǔ)字符串和數(shù)字等內(nèi)容。從傳統(tǒng)數(shù)據(jù)庫(kù)查詢(xún)時(shí)，我們查詢(xún)的是與查詢(xún)匹配的行。然而，向量數(shù)據(jù)庫(kù)處理的是向量，而不是字符串等內(nèi)容。向量數(shù)據(jù)庫(kù)還運(yùn)用相似度度量指標(biāo)，該指標(biāo)用于幫助找到與查詢(xún)最相似的向量。

向量數(shù)據(jù)庫(kù)由不同的算法組成，這些算法都有助于進(jìn)行近似最近鄰（ANN）搜索。這是通過(guò)散列、基于圖的搜索或量化來(lái)完成的，它們被組裝到一條管道中，以檢索所查詢(xún)向量的鄰居。

結(jié)果取決于它與查詢(xún)的接近程度，因此考慮的主要因素是準(zhǔn)確性和速度。如果查詢(xún)輸出慢，結(jié)果就比較準(zhǔn)確。

向量數(shù)據(jù)庫(kù)查詢(xún)要經(jīng)歷的三個(gè)主要階段：

1. 索引

如上例所述，一旦向量嵌入進(jìn)入到向量數(shù)據(jù)庫(kù)中，它就會(huì)使用各種算法將向量嵌入映射到數(shù)據(jù)結(jié)構(gòu)，以便更快地進(jìn)行搜索。

2. 查詢(xún)

一旦完成了搜索，向量數(shù)據(jù)庫(kù)將查詢(xún)的向量與索引的向量進(jìn)行比較，并運(yùn)用相似性度量指標(biāo)來(lái)查找最近鄰。

3. 后處理

根據(jù)您使用的向量數(shù)據(jù)庫(kù)，向量數(shù)據(jù)庫(kù)將對(duì)最后的最近鄰進(jìn)行后處理，以生成查詢(xún)的最終輸出。另外，還可能重新排列最近鄰，供將來(lái)引用。

結(jié)語(yǔ)

隨著人工智能的不斷發(fā)展和新系統(tǒng)的每周發(fā)布，向量數(shù)據(jù)庫(kù)的發(fā)展起到了重要作用。向量數(shù)據(jù)庫(kù)使公司能夠更有效地與精確的相似度搜索進(jìn)行交互，為用戶(hù)提供更好更快的輸出。

所以下次您在ChatGPT或Google Bard中輸入查詢(xún)時(shí)，想想它為您的查詢(xún)輸出結(jié)果所經(jīng)歷的過(guò)程。

原文標(biāo)題：What are Vector Databases and Why Are They Important for LLMs?，作者：Nisha Arya