萬萬沒想到，與任務無直接關聯的多模態數據也能提升Transformer模型性能。

比如訓練一個圖像分類模型，除了標注好類別的圖像數據集，增加視頻、音頻、點云等模態數據，也能顯著提升模型在圖像分類上的性能。

這樣一來，在AI訓練階段就可以減少與特定任務直接相關的標注數據需求，可以節省大量成本，或在數據有限的任務上提供新解決思路。

這個神奇的發現來自港中文MMLab和騰訊AI Lab的合作研究，相關論文已被CVPR 2024接收，引起廣泛關注。

從無關數據中學習有用知識

具體來說，團隊提出了一種稱為多模態通路（Multimodal Pathway）的新框架。

該框架允許Transformer模型在處理特定模態的數據時，同時利用其他模態中的無關數據進行訓練，從而在不增加額外推理成本的前提下顯著提升模型性能。

多模態通路的核心技術是跨模態重參數化 （Cross-Modal Re-parameterization）*。

這一技術的創新之處在于，它通過結構上的智能重組，使得模型能夠在保持原有計算成本的同時，增加從其他模態學習的能力。

對于已經被廣泛運用到多模態特征提取的Vision Transformer，團隊關心的是這些神經網絡中的主要線性層。

具體來說，這一技術在模型的每一個線性層中引入了輔助模態的權重，這些權重通過可學習的參數進行調節，從而在不增加推理時間的情況下，實現模態間的知識遷移。

如圖所示，比如有不同模態的兩個線性層FC和FC’， 那么跨模態結構重參數化就是要通過構建一個運算完全等價的線性層來承載兩個模態的運算，在這里直接將來自不同模態的兩部分權重 （W和W’）做線性組合（W+λW’）來平衡兩個模態的權重對于目標模態的貢獻。

實驗結果：跨模態增益挖掘Transformer潛力

在論文中，研究團隊詳細介紹了他們的實驗設計和結果。

在圖像識別、點云處理、視頻理解和音頻分析等多個任務上應用了多模態通路技術，觀察到多模態通路能夠在12種不同的模態相互幫助的關系中實現一致的性能提升。

例如，在ImageNet圖像識別任務中，結合了點云數據的多模態通路Transformer模型，比傳統的Transformer模型在識別準確率上提高了0.7%。

與MAE預訓練方法的各種改進相比，該方法無需高昂的計算成本來預訓練1600 Epoch，而是直接在下游任務中微調，就能顯著地提升模型性能。這充分展示了多模態學習在處理大規模復雜數據集時的強大潛力。

研究人員還發現，跨模態知識遷移的效果不僅與模型參數規模有關，還可能與層次表示（Hierarchical Representation）能力密切相關。也就是越擅長學習層次化的抽象表示的模型，遷移效果就越好。

更值得注意的是，該方法有效地證明了即使毫不相關的多模態數據之間，仍能存在著明顯的多模態增益效果，這充分說明我們現在對多模態學習的理解與認知還有很大的提升空間。

總的來說，這項研究不僅能夠啟發多模態學習在學術領域的發展，也為工業界提供了新的思路。通過利用現有的海量數據資源，即使這些數據與當前任務不直接相關，也能夠為AI模型的訓練帶來積極的影響。

這種方法為數據資源有限或難以標注的領域提供了新的解決方案，特別是在自動駕駛、醫療影像分析、自然語言處理等技術要求極高的領域，多模態通路技術的應用前景廣闊。

此外，這一研究還揭示了AI跨模態學習的新機制，推動了學界對于不同數據模態間交互和協同處理的深入理解。研究團隊表示，未來他們將探索將多模態通路技術應用于卷積神經網絡（CNN）和其他跨架構的AI系統，以進一步挖掘這一技術的潛力。

論文地址：??https://arxiv.org/abs/2401.14405???
項目網頁：???https://ailab-cvc.github.io/M2PT/???
開源代碼：???https://github.com/AILab-CVC/M2PT???
講解視頻：???https://www.bilibili.com/video/BV1Sm41127eW/??

本文轉自 量子位 ，作者：量子位

原文鏈接:??https://mp.weixin.qq.com/s/Y4LV07qNzRa5MA_lygBiaw??