最近，我需要研究圖像相似性搜索，我想知道基于架構訓練方法的嵌入是否存在差異。在本文中，我將使用Flickr數據集[6]比較EfficientNet[1]、ViT[2]、DINO-v2[3]、CLIP[4]和BLIP-2[5]的視覺嵌入在圖像相似性搜索中的表現。我將主要使用Huggingface和Faiss庫進行實現。首先，我將簡要介紹每個深度學習模型。接下來，我將展示代碼實現和比較結果。

一、EfficientNet、ViT、DINO-v2、CLIP和BLIP-2的簡要介紹

在本節中，我將介紹用于實驗的幾個深度學習模型。請注意，我將使用“嵌入”和“特征”等詞，它們的含義相同。我只是根據論文的描述來使用它們。讓我們深入了解它們！

1. EfficientNet

EfficientNet[1]是一種卷積神經網絡，專注于在保持計算效率的同時實現高精度。它屬于監督學習。作者深入研究了通道數（寬度）、總層數（深度）和輸入分辨率，以解決模型大小、精度和計算效率之間的權衡問題。與已經引入的計算機視覺模型（如ResNet）相比，它在2019年取得了最先進的結果。

EfficientNet根據模型大小分為B0到B7幾個變體，如下所示。模型越大，精度越高。

在本文中，我將使用EfficientNet-B7進行實驗。提取的嵌入是最后一個隱藏層的輸出，因為深層比淺層具有更多的語義信息。

2. Vision Transformer (ViT)

Vision Transformer[2]是由Google開發的第一篇成功將Transformer架構應用于計算機視覺領域的論文。它同樣屬于監督學習。它將輸入圖像劃分為多個補丁，并將它們輸入到Transformer編碼器中。這些補丁相當于自然語言處理中的標記。對于分類任務，ViT引入了一個稱為類標記的標記，它在最后一個注意力層的輸出中包含整個圖像的表示。

與NLP Transformer類似，它需要在大數據集上進行預訓練，并對下游任務進行微調。與CNN相比，它的一個優勢是可以通過自注意力機制利用圖像的全局信息。與EfficientNet一樣，模型越大，能力越強。

在本文中，我將使用ViT-Large。提取的嵌入是類標記的輸出，因為它包含整個圖像的語義信息。

3. DINO-v2

DINO-v2[3]是由Meta開發的基礎模型，用于生成計算機視覺中的通用視覺特征。作者將自監督方法應用于ViT架構，以理解圖像和像素級別的特征；因此，DINO-v2可以執行任何計算機視覺任務，如分類或分割。在架構方面，DINO-v2基于前身DINO，即“無標簽知識蒸餾”的縮寫。

DINO有兩個網絡：學生和教師。它利用協同蒸餾，其中學生和教師網絡具有相同的架構，并且在訓練期間在兩個方向上進行蒸餾，從教師到學生以及從學生到教師。注意，學生到教師的蒸餾使用學生網絡輸出的平均值。

對于DINO-v2，作者更新了訓練方法，添加了一些損失和正則化。此外，他們還策劃了一個高質量的數據集，以獲得更好的圖像特征。

在實驗中，我們將使用類標記的輸出，因為它們像ViT一樣包含整個圖像的語義信息。

4. CLIP

CLIP是由OpenAI開發的改變游戲規則的多模態模型之一[4]。它屬于弱監督學習，基于Transformer架構。由于其獨特的架構，它能夠進行零樣本圖像分類。

CLIP架構包含文本和圖像編碼器。它通過對比損失對齊文本和圖像特征，從而獲得多模態能力。因此，它在文本和圖像特征之間共享相同的特征空間，并且可以通過找到最相似的文本特征來實現零樣本圖像分類。

CLIP編碼器基于Transformer。因此，我們將使用圖像編碼器中類標記的輸出，類似于ViT。

5. BLIP-2

BLIP-2[5]是由SalesForce在2023年開發的開源多模態模型。它屬于監督學習，基于Transformer架構。它專注于利用預訓練的大型模型（如FlanT5和CLIP）來實現高效的訓練（因為在典型預算下從頭開始訓練大型模型很困難）。由于預訓練的大型語言和視覺模型的訓練方式不同，作者引入了Q-Former來對齊預訓練模型之間的特征空間。

BLIP-2包括兩個階段。第一階段訓練Q-Former，以使用圖像-文本匹配、圖像-文本對比損失和基于圖像的文本生成等損失來對齊來自預訓練圖像編碼器的文本特征和圖像特征。第二階段再次訓練Q-Former，以將其特征空間與大型語言模型（如FlanT5）對齊。因此，Q-Former可以理解來自文本和圖像源的特征。

顧名思義，Q-Former架構基于Transformer。我們將使用Q-Former的輸出作為特征提取層。

二、EfficientNet、ViT、DINO-v2、CLIP和BLIP-2在圖像相似性搜索中的嵌入比較

在本節中，我們將比較EfficientNet、ViT、DINO-v2、CLIP和BLIP-2在圖像相似性搜索中的結果。這些模型具有不同的架構和訓練損失。它們之間會有什么不同？讓我們從環境設置開始。

1. 環境設置

我使用了Python 3.10的conda環境。我在Ubuntu 20.04上進行了實驗，使用cuda 11.0、16 GB GPU和16 GB RAM。

conda create -n transformers-env python=3.10 -y
conda activate transformers-env

接下來，我們需要通過conda和pip安裝以下庫。

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
conda install -c pytorch faiss-cpu=1.8.0
conda install -c conda-forge pandas
pip install transformers

準備工作已經完成！現在，讓我們實現代碼。我們將使用Faiss庫[7]來測量圖像相似性搜索中的圖像相似性。Faiss是一個基于近似最近鄰搜索算法的高效相似性搜索庫。此外，我們將使用Flickr30k數據集[6]進行實驗。在直接進入圖像相似性搜索之前，我們將探索如何從每個模型中提取嵌入（特征）。

2. 從每個模型中提取特征

在本實驗中，我將使用Huggingface的transformer庫來提取嵌入。與原始的Pytorch實現相比，我們可以輕松提取隱藏狀態。本節代碼檢查輸入和輸出維度，因此我們將在CPU上運行它們。

(1) EfficientNet

EfficientNet的特征提取代碼如下所示。

import torch
from transformers import AutoImageProcessor, EfficientNetModel


# load pre-trained image processor for efficientnet-b7 and model weight
image_processor = AutoImageProcessor.from_pretrained("google/efficientnet-b7")
model = EfficientNetModel.from_pretrained("google/efficientnet-b7")


# prepare input image
inputs = image_processor(test_image, return_tensors='pt')
print('input shape: ', inputs['pixel_values'].shape)


with torch.no_grad():
    outputs = model(**inputs, output_hidden_states=True)


embedding = outputs.hidden_states[-1]


print('embedding shape: ', embedding.shape)


embedding = torch.mean(embedding, dim=[2,3])
print('after reducing: ', embedding.shape)


### input shape:  torch.Size([1, 3, 600, 600])
### embedding shape:  torch.Size([1, 640, 19, 19])
### after reducing by taking mean:  torch.Size([1, 640])

首先，我們需要準備輸入。預定義的EfficientNet圖像處理器會自動將輸入形狀處理為(batch_size, 3, 600, 600)。經過模型后，我們可以獲得帶有隱藏狀態的輸出。最后一個隱藏狀態的維度為(batch_size, 640, 19, 19)，因此我們對獲得的嵌入應用降維平均處理。

(2) ViT

對于ViT的特征提取，提取代碼如下所示。

# load pre-trained image processor for ViT-large and model weight
image_processor = AutoImageProcessor.from_pretrained("google/vit-large-patch16-224-in21k")
model = ViTModel.from_pretrained("google/vit-large-patch16-224-in21k")


# prepare input image
inputs = image_processor(test_image, return_tensors='pt')
print('input shape: ', inputs['pixel_values'].shape)


with torch.no_grad():
    outputs = model(**inputs)


embedding = outputs.last_hidden_state
embedding = embedding[:, 0, :].squeeze(1)
print('embedding shape: ', embedding.shape)


### input shape:  torch.Size([1, 3, 224, 224])
### embedding shape:  torch.Size([1, 1024])

同樣，預定義的ViT圖像處理器會自動將輸入形狀處理為(batch_size, 3, 224, 224)。最后一個隱藏狀態的維度為(batch_size, 197, 1024)，我們只需要類標記，因此提取第二個維度（197）的第一個索引。

(3) DINO-v2

DINO-v2基于ViT，因此基礎代碼幾乎相同。區別在于我們加載DINO-v2的圖像處理器和模型。提取代碼如下所示。

# load pre-trained image processor for DINO-v2 and model weight
image_processor = AutoImageProcessor.from_pretrained('facebook/dinov2-base')
model = AutoModel.from_pretrained('facebook/dinov2-base')


# prepare input image
inputs = image_processor(images=test_image, return_tensors='pt')
print('input shape: ', inputs['pixel_values'].shape)


with torch.no_grad():
    outputs = model(**inputs)


embedding = outputs.last_hidden_state
embedding = embedding[:, 0, :].squeeze(1)
print('embedding shape: ', embedding.shape)


### input shape:  torch.Size([1, 3, 224, 224])
### embedding shape:  torch.Size([1, 1024])

基本上，我們使用相同的圖像處理器。預定義的ViT圖像處理器會自動將輸入形狀處理為(batch_size, 3, 224, 224)。最后一個隱藏狀態的維度為(batch_size, 197, 1024)，我們只需要類標記，因此提取第二個維度（197）的第一個索引。

(4) CLIP

CLIP也基于ViT，因此過程相同。Huggingface的transformers庫已經為CLIP提供了特征提取方法，因此實現更加簡單。

# load pre-trained image processor for CLIP and model weight
image_processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")


# prepare input image
inputs = image_processor(images=test_image, return_tensors='pt', padding=True)
print('input shape: ', inputs['pixel_values'].shape)


with torch.no_grad():
    outputs = model.get_image_features(**inputs)


print('embedding shape: ', outputs.shape)


### input shape:  torch.Size([1, 3, 224, 224])
### embedding shape:  torch.Size([1, 512])

我們使用相同的圖像處理器。預定義的ViT圖像處理器會自動將輸入形狀處理為(batch_size, 3, 224, 224)。get_image_features方法可以提取給定圖像的嵌入，輸出維度為(batch_size, 512)。它與ViT和DINO-v2不同。

(5) BLIP-2

我們可以從ViT和Q-Former的輸出中提取圖像嵌入。在這種情況下，Q-Former的輸出可以包含來自圖像和文本視角的語義，因此我們將使用它。

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2Model.from_pretrained("Salesforce/blip2-opt-2.7b", torch_dtype=torch.float16)


# prepare input image
inputs = processor(images=test_image, return_tensors='pt', padding=True)
print('input shape: ', inputs['pixel_values'].shape)


with torch.no_grad():
    outputs = model.get_qformer_features(**inputs)


print('embedding shape: ', outputs.shape)

我們使用BLIP-2處理器，它可以處理圖像和文本輸入。它會自動將圖像輸入形狀處理為(batch_size, 3, 224, 224)。我們可以使用get_qformer_features提取Q-Former的輸出，輸出維度為(batch_size, 32, 768)。我們通過對輸出取平均值來降維，嵌入維度將為(batch_size, 768)。

現在我們已經了解了如何從每個模型中提取嵌入。接下來，讓我們檢查使用Faiss進行圖像相似性搜索的實現。

3. 圖像相似性搜索

我們可以使用Faiss接口輕松實現圖像相似性搜索，只需幾行代碼。我們假設我們有一個名為features的變量。過程如下：

• 將輸入特征類型轉換為numpy.float32。
• 實例化Faiss向量存儲并為其注冊輸入特征。
• 通過調用search方法搜索向量。

我們可以選擇如何測量向量之間的距離，例如歐幾里得距離或余弦相似度。在本文中，我們使用余弦相似度。偽代碼如下所示。

# convert features type to np.float32
features = features.astype(np.float32)


# get embedding dimension
vector_dim = features.shape[1]     


# register embedding to faiss vector store
index = faiss.IndexFlatIP(vector_dim)
faiss.normalize_L2(features)
index.add(features)


# For vector search, we just call search method. 
top_k = 5  
faiss.normalize_L2(embed)
distances, ann = index.search(embed, k=top_k)

現在，比較圖像相似性搜索結果的所有先決條件已經完成。讓我們從下一節開始檢查具體結果。

4. 圖像相似性搜索結果的比較

在本節中，我將比較使用五個模型進行圖像相似性搜索的結果。對于數據集，我使用了從Flickr30k中隨機挑選的10k張圖像。我為每個模型實現了一個自定義管道，以實現批量特征提取。在本節末尾，我將附上我用于此實驗的筆記本。我選擇了以下圖像來比較結果。

從Flickr30k數據集中挑選的圖像

“3637013.jpg”的結果如下所示：

對“3637013.jpg”進行的圖像相似性搜索

這個案例相對容易，因此所有模型都能挑選出語義相似的圖像。“3662865.jpg”的結果如下所示：

對“3662865.jpg”進行的圖像相似性搜索

在這種情況下，DINO-v2和CLIP能夠捕捉到“鏟雪”的語義，但其他模型有時只能捕捉到“雪”。

“440375442.jpg”的結果如下所示：

對“440375442.jpg”進行的圖像相似性搜索

EfficientNet和ViT可能將工作服誤解為手術服，因此它們無法捕捉目標圖像的語義。DINO-v2能夠理解“垃圾和穿工作服的人”的語義，CLIP專注于穿工作服的人，而BLIP2專注于垃圾。我認為DINO-v2、CLIP和BLIP2能夠捕捉語義。

“1377428277.jpg”的結果如下所示：

對“1377428277.jpg”進行的圖像相似性搜索

這張圖像的語義是：“街上有很多人正在享受某個節日或街頭表演。”EfficientNet和ViT專注于雨傘，因此它們無法捕捉語義。另一方面，DINO專注于嬰兒車，表現稍遜一籌。CLIP試圖捕捉節日和街頭的部分，但也稍遜一籌。BLIP2能夠捕捉街頭表演和嬰兒車。

“57193495.jpg”的結果如下所示：

對“57193495.jpg”進行的圖像相似性搜索

在這種情況下，EfficientNet、ViT和CLIP有時能夠捕捉到“穿著戲服并涂白臉的女人”的語義。然而，它們相對不足。相比之下，DINO-v2和BLIP2能夠捕捉到服裝或角色扮演的語義。

最后一張圖像“1393947190.jpg”的搜索結果如下所示：

對“1393947190.jpg”進行的圖像相似性搜索

結果因架構（CNN和Transformer）而異。雖然EfficientNet可能專注于圖像的白色和棕色，但其他模型能夠捕捉到“正在卷絲的人”的語義。CLIP可能專注于傳統手工藝品，但其他模型能夠捕捉語義。

總結一下，我們有以下觀察結果：

• EfficientNet（CNN架構）不擅長捕捉超出像素信息的語義。
• Vision Transformer比CNN更好，但仍然更關注像素信息而不是圖像的含義。
• DINO-v2能夠捕捉圖像的語義，并且傾向于關注前景物體。
• CLIP能夠捕捉語義，但有時可能會受到圖像中可讀的語言信息的強烈影響。
• BLIP2能夠捕捉語義，是其他模型中表現最好的。

我認為，為了獲得更好的圖像相似性搜索結果，我們基本上應該使用DINO-v2或BLIP2。至于使用上的區別，當我們專注于圖像中的物體時，應該使用DINO-v2。而當我們專注于超出像素信息的語義（如情境）時，應該使用BLIP2。

完整代碼：https://gist.github.com/tanukon/00d689478ee3f7d2abd0366f1352cf9d#file-embedding_comparison-ipynb