今天，我們來(lái)聊聊 AI 大模型，有一個(gè)非常重要概念 "Embedding"。你可能聽說(shuō)過(guò)它，也可能對(duì)它一知半解。如果你沒(méi)有深入了解過(guò) Embedding，那你就無(wú)法真正掌握 RAG 技術(shù)，更不能掌握 AI 大模型精髓所在。

1.什么是大語(yǔ)言模型（LLM）？

LLM 是一種大型語(yǔ)言模型，是一種用于理解、生成和響應(yīng)類人文本的神經(jīng)網(wǎng)絡(luò)，這些模型是在大量文本數(shù)據(jù)上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)。

大型語(yǔ)言模型中的“大”指的是模型在參數(shù)方面的大小和它所訓(xùn)練的龐大數(shù)據(jù)集。這樣的模型通常有數(shù)百億甚至數(shù)千億個(gè)參數(shù)，這些參數(shù)是網(wǎng)絡(luò)中可調(diào)整的權(quán)重，在訓(xùn)練過(guò)程中進(jìn)行優(yōu)化，以預(yù)測(cè)序列中的下一個(gè)單詞。

模型微調(diào)，是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用特定任務(wù)的標(biāo)注數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練，使模型能夠完成特定的任務(wù)。

其特點(diǎn)，建立在預(yù)訓(xùn)練基礎(chǔ)上，利用預(yù)訓(xùn)練模型已經(jīng)學(xué)到的語(yǔ)言知識(shí)，不需要從零開始訓(xùn)練。這樣有助于降低訓(xùn)練的成本，以及縮短訓(xùn)練時(shí)間，能更好快速適應(yīng)新任務(wù)。

2.Embedding 的理解

深度學(xué)習(xí)模型不能處理原始形式的視頻、音頻和文本等數(shù)據(jù)格式。那怎么辦？因此，我們引入了 “embedding“ ，翻譯為“嵌入“ 。

專業(yè)術(shù)語(yǔ)來(lái)講，Embedding 是一種將離散數(shù)據(jù)（如文字、圖像、音頻等）轉(zhuǎn)換為連續(xù)的密集向量表示的技術(shù)，這些向量能夠反映原始數(shù)據(jù)之間的關(guān)系。

現(xiàn)在，很多企業(yè)搭建本地知識(shí)庫(kù)，常提到的 RAG 技術(shù)，實(shí)際上用 Embedding 模型作為基礎(chǔ)工具，來(lái)將查詢的詞轉(zhuǎn)換為向量。

Embedding 是 RAG 的基礎(chǔ)工具，而 RAG 是 Embedding 的一種應(yīng)用場(chǎng)景，這樣就得到一個(gè)公式：RAG = Embedding + 檢索 + LLM生成。

如果，你還想更深層次去理解 Embedding 底層細(xì)節(jié)原理，建議你去學(xué)習(xí)或了解相關(guān)數(shù)學(xué)概念，如向量空間、線性代數(shù)、矩陣、特征值和特征向量和內(nèi)積和外積等。

今天，這篇文章主要是講大致流程概念，知道這么回事，并沒(méi)有過(guò)多的深入講解。

3.RAG 又是什么？

RAG 是檢索增強(qiáng)生成（Retrieval-Augmented Generation）的縮寫，它通過(guò)結(jié)合檢索系統(tǒng)和生成模型來(lái)提高語(yǔ)言生成的準(zhǔn)確性和相關(guān)性。

RAG 優(yōu)勢(shì)就是能夠在生成響應(yīng)時(shí)引入外部知識(shí)，使得生成的內(nèi)容更加準(zhǔn)確，也無(wú)需訓(xùn)練。很好解決 LLM 面臨數(shù)據(jù)實(shí)時(shí)性問(wèn)題，因?yàn)?nbsp;LLM 訓(xùn)練是有時(shí)截止日期的。

目前，很多企業(yè)搭建自己知識(shí)庫(kù)時(shí)，都是采用 RAG 技術(shù)進(jìn)行信息檢索。然而為了達(dá)到更好效果，企業(yè)一般也會(huì)進(jìn)行內(nèi)部模型微調(diào) Embedding Model，來(lái)增加檢索增強(qiáng)生成的能力。