語言作“紐帶”，拳打腳踢各模態，超越Imagebind
北大聯合騰訊打造了一個多模態15邊形戰士！
以語言為中心，“拳打腳踢”視頻、音頻、深度、紅外理解等各模態。
具體來說，研究人員提出了一個叫做LanguageBind的多模態預訓練框架。
用語言作為與其它模態之間的紐帶，凍結語言編碼器，然后用對比學習方法，將各個模態映射到一個共享的特征空間，實現多模態數據的語義對齊。
使用這種方法，模型在5個數據集上的性能拿下新SOTA，在15個zero-shot檢索等任務中取得了顯著的性能提升，全面超越ImageBind、OpenCLIP。
將各模態與語言綁定
LanguageBind包含三個部分：
多模態編碼器（Multi-modal Encoders），語言編碼器(Language Encoder)，以及多模態聯合學習(Multi-modal Joint Learning)。
先來看多模態編碼器部分。
除了語言之外的其它模態，研究人員使用24層、1024維的視覺Transformer，具有14的Patch大小。編碼器是從OpenCLIP-large初始化的。
深度和紅外被視為RGB圖像，在通道維度上復制3次與RGB圖像對齊。
按照ImageBind的方式，音頻數據被轉換為持續10秒（128個mel-bins）的頻譜圖，并進行重復和填充。
- Patch masking
為了解決在編碼器中處理所有Token的低效問題，研究人員將圖像分成補丁，并通過Mask獲取一小部分圖片序列，按照MAE的方法進行。
- LoRA fine-tuning
同時使用LoRA技術來加速微調。對于具有權重矩陣W0∈Rd×k的模態編碼器，在學習新的權重矩陣BA時，保持權重矩陣W0不變。
- Modality extending
將LanguageBind方法擴展到多個（N個）模態的第一步是將數據處理成令牌序列。隨后，參數將從OpenCLIP進行初始化。然后通過令牌屏蔽和LoRA微調來訓練不同模態的編碼器，同時保持語言編碼器凍結。最后，將該模態與語言特征空間對齊。
再來看看語言編碼器以及多模態聯合學習部分。
對于語言編碼器，研究人員使用了一個12層的transformer模型，維度為768，初始化來源于OpenCLIP。
對于給定的文本，他們首先使用BPE分詞器將單詞分割成相對常見的子詞。每個子詞對應一個唯一的標記，這些標記在一個詞嵌入層內嵌入。最終，這些標記被語言編碼器編碼，以獲得文本對數：
其中L表示序列的長度。為了確保跨不同模態的對齊，研究人員采用了對比學習原則。
這種方法的目標是增加配對數據的相似性，將它們帶到相同的語義空間，同時減小不配對數據的相似性。研究人員利用對比學習將各個模態與語言綁定在一起。
構建高質量數據集
此外，研究人員還創建了一個名為“VIDAL-10M”的高質量數據集，其中包含1000萬個具有對齊視頻-語言、紅外-語言、深度-語言、音頻-語言的數據對，是第一個具有深度和紅外模態的大規模視頻多模態數據集。
數據集構建方法如下：
△VIDAL-10M 構建框架
第一步是生成搜索詞數據庫，這個過程中，研究人員設計了一種獨特的搜索詞獲取策略，利用來自各種視覺任務數據集的文本數據，包括標簽和標題，以構建具有豐富視覺概念和多樣性的視頻數據集。
第二步是從互聯網收集相關視頻和音頻，并進行一系列過濾處理，以確保數據集的質量和準確性。
這個過程中，研究人員使用了多種過濾方法，包括基于文本的過濾、基于視覺與音頻的過濾，以確保數據集中的視頻和音頻與搜索詞相關且質量高。
第三步是進行紅外和深度模態生成，以及多視角文本生成和增強。
在空間信息增強方面，研究人員采用了OFA模型生成多個關鍵幀描述，以提升視頻內容的空間表達質量。
同時，在時間信息增強方面，將視頻內容、標題以及Hashtag標簽輸入到mPLUG-owl模型中，以獲取更為精煉和豐富的時間維度描述。
最后，研究人員運用ChatGPT模型對文本描述進行進一步細化和增強。
綜合而言，多視角文本增強涵蓋了標題、標簽、關鍵幀描述以及視頻描述等多個組成部分，為視頻內容提供了全面且詳盡的描述。
多個測試拿下SOTA
在測試階段，大量的實驗驗證了VIDAL-10M數據集和LanguageBind方法的有效性，在視頻、音頻以及其它模態理解任務中取得了顯著的性能。
LanguageBind在四個數據集上都性能拿下SOTA。
在MSR-VTT上比InterVideo方法高出1.9%，在MSVD上比 InterVideo高出 8.8%，在DiDeMo上比InterVideo高出 6.3%，在ActivityNet上比InterVideo高出 4.4%。
值得注意的是，InterVideo采用了更廣泛的訓練數據，正表明LanguageBind的有效性。
△Zero-Shot視頻-文本檢索結果
視頻-語言、紅外-語言、深度-語言和音頻-語言Zero-Shot分類，在所有數據集上的準確率均優于ImageBind、OpenCLIP：
Zero-Shot音頻-語言檢索性能同樣優越：
論文鏈接：https://arxiv.org/pdf/2310.01852.pdf
