Apple 發(fā)布 AIMv2：最先進的開放集視覺編碼器系列原創(chuàng)

發(fā)布于 2024-12-9 10:43

瀏覽

0收藏

01、概述

在計算機視覺領(lǐng)域，我們見證了視覺模型的飛速發(fā)展。每一次技術(shù)的革新都在解決前一代模型的局限性。然而，如何在復(fù)雜性、泛化能力和可擴展性之間找到平衡點，一直是研究者們面臨的挑戰(zhàn)。當(dāng)前的許多模型在處理多樣化的視覺任務(wù)或適應(yīng)新數(shù)據(jù)集時仍顯吃力。傳統(tǒng)的大規(guī)模預(yù)訓(xùn)練視覺編碼器雖然取得了成功，但在擴展性和參數(shù)效率方面存在挑戰(zhàn)。市場急需一種強大而多功能的模型，能夠在不犧牲性能的情況下處理多種模態(tài)，如圖像和文本，同時不需要大量的數(shù)據(jù)篩選。

02、AIMv2：蘋果的新解決方案

蘋果公司通過發(fā)布AIMv2，迎接了這一挑戰(zhàn)。AIMv2是一系列開放式視覺編碼器，旨在提升現(xiàn)有模型在多模態(tài)理解和目標(biāo)識別任務(wù)上的表現(xiàn)。受CLIP等模型的啟發(fā)，AIMv2增加了自回歸解碼器，使其能夠生成圖像塊和文本標(biāo)記。AIMv2家族包含19個不同參數(shù)大小的模型——從300M到2.7B，支持224、336和448像素的分辨率。這種模型大小和分辨率的范圍使得AIMv2適用于不同的應(yīng)用場景，從小型應(yīng)用到需要大型模型的任務(wù)。

03、技術(shù)概覽

AIMv2采用了多模態(tài)自回歸預(yù)訓(xùn)練框架，這一框架在傳統(tǒng)對比學(xué)習(xí)方法的基礎(chǔ)上進行了構(gòu)建。AIMv2的關(guān)鍵特性是將視覺變換器（ViT）編碼器與因果多模態(tài)解碼器相結(jié)合。在預(yù)訓(xùn)練期間，編碼器處理圖像塊，隨后與相應(yīng)的文本嵌入配對。因果解碼器然后自回歸地生成圖像塊和文本標(biāo)記，重建原始的多模態(tài)輸入。這種設(shè)置簡化了訓(xùn)練過程，并促進了模型的擴展，而無需特殊的批次間通信或極大的批次大小。此外，多模態(tài)目標(biāo)使AIMv2能夠?qū)崿F(xiàn)比其他方法更密集的監(jiān)督，增強了其從圖像和文本輸入中學(xué)習(xí)的能力。

04、性能與可擴展性

AIMv2在大多數(shù)多模態(tài)理解基準(zhǔn)測試中超越了OAI CLIP和SigLIP等主要現(xiàn)有模型。具體來說，AIMv2-3B在凍結(jié)樹干的情況下，在ImageNet數(shù)據(jù)集上達到了89.5%的top-1準(zhǔn)確率，顯示出凍結(jié)編碼器模型的顯著魯棒性。與DINOv2相比，AIMv2在開放詞匯目標(biāo)檢測和指代表達理解方面也表現(xiàn)良好。此外，AIMv2的可擴展性顯而易見，其性能隨著數(shù)據(jù)和模型大小的增加而持續(xù)提高。模型的靈活性和與現(xiàn)代工具（如Hugging Face Transformers庫）的集成，使其在各種應(yīng)用中的實施變得實用且直接。

Apple 發(fā)布 AIMv2：最先進的開放集視覺編碼器系列-AI.x社區(qū)

05、結(jié)論

AIMv2代表了視覺編碼器發(fā)展的一個重要進步，強調(diào)了訓(xùn)練的簡單性、有效的擴展性和多模態(tài)任務(wù)的多功能性。蘋果發(fā)布AIMv2在多個基準(zhǔn)測試上提供了比以往模型更好的改進，包括開放詞匯識別和多模態(tài)任務(wù)。自回歸技術(shù)的使用使AIMv2能夠?qū)崿F(xiàn)密集監(jiān)督，從而獲得強大而靈活的模型能力。AIMv2在Hugging Face等平臺上的可用性，使得開發(fā)者和研究人員能夠更容易地嘗試先進的視覺模型。AIMv2為開放式視覺編碼器樹立了新的標(biāo)準(zhǔn)，能夠應(yīng)對現(xiàn)實世界多模態(tài)理解日益增加的復(fù)雜性。

參考：