Unified Reward Model for Multimodal Understanding and Generation

2025-03-07｜FDU, SII, Shanghai AI Lab, Shanghai Academy of Artificial Intelligence for Science|??75

??http://arxiv.org/abs/2503.05236v1???
???https://huggingface.co/papers/2503.05236???
???https://codegoat24.github.io/UnifiedReward/??

研究背景與意義

本文提出了一種名為UNIFIEDREWARD的統(tǒng)一獎勵模型，旨在解決多模態(tài)理解和生成任務(wù)中的偏好對齊問題。現(xiàn)有模型通常針對特定任務(wù)設(shè)計(jì)，限制了其在不同視覺應(yīng)用中的適應(yīng)性。作者認(rèn)為，通過聯(lián)合學(xué)習(xí)多個視覺任務(wù)，可以產(chǎn)生協(xié)同效應(yīng)，增強(qiáng)圖像理解、視頻評估等任務(wù)的表現(xiàn)。

• 研究背景：近年來，人類偏好對齊技術(shù)顯著推動了多模態(tài)生成和理解的進(jìn)步。然而，大規(guī)模收集人類反饋既耗時又耗費(fèi)資源。
• 研究意義：本研究通過構(gòu)建大規(guī)模的人類偏好數(shù)據(jù)集，并開發(fā)出首個能夠同時進(jìn)行成對排名和點(diǎn)評分的統(tǒng)一獎勵模型，解決了現(xiàn)有模型的局限性，提升了跨域視覺任務(wù)的性能。

研究方法與創(chuàng)新

UNIFIEDREWARD的核心在于其獨(dú)特的訓(xùn)練流程和數(shù)據(jù)構(gòu)建方式。該模型基于一個涵蓋圖像和視頻生成/理解任務(wù)的大規(guī)模人類偏好數(shù)據(jù)集進(jìn)行訓(xùn)練，隨后用于自動構(gòu)建高質(zhì)量的偏好對數(shù)據(jù)。

• 技術(shù)創(chuàng)新：

a.大規(guī)模數(shù)據(jù)集：首次構(gòu)建了一個包含236K條記錄的數(shù)據(jù)集，覆蓋了圖像和視頻的理解與生成任務(wù)。

b.聯(lián)合學(xué)習(xí)框架：通過將視覺任務(wù)視為相互關(guān)聯(lián)的整體，實(shí)現(xiàn)了更高效的模型訓(xùn)練。

c.細(xì)粒度篩選機(jī)制：采用成對排名和點(diǎn)評分相結(jié)合的方法，確保了偏好數(shù)據(jù)的質(zhì)量。

• 優(yōu)勢對比：

a.相比于僅能處理單一任務(wù)的現(xiàn)有模型，UNIFIEDREWARD展示了更強(qiáng)的泛化能力和更高的效率。

b.實(shí)驗(yàn)結(jié)果顯示，在多種基準(zhǔn)測試中，該模型均取得了顯著優(yōu)于基線模型的成績。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為了驗(yàn)證UNIFIEDREWARD的有效性，研究人員進(jìn)行了廣泛的實(shí)驗(yàn)，包括圖像和視頻生成及理解任務(wù)。實(shí)驗(yàn)結(jié)果表明，聯(lián)合學(xué)習(xí)多個視覺任務(wù)不僅能緩解數(shù)據(jù)不足的問題，還能顯著提高學(xué)習(xí)效果。

• 圖像生成：使用Pick-a-Pic數(shù)據(jù)集進(jìn)行偏好數(shù)據(jù)構(gòu)建，結(jié)果顯示，基于UNIFIEDREWARD的DPO方法在多個指標(biāo)上均優(yōu)于直接訓(xùn)練。
• 視頻生成：通過T2V-Turbo模型進(jìn)行對比實(shí)驗(yàn)，發(fā)現(xiàn)UNIFIEDREWARD在質(zhì)量、語義一致性等方面均有明顯提升。
• 多任務(wù)學(xué)習(xí)：實(shí)驗(yàn)還證明了聯(lián)合訓(xùn)練圖像和視頻理解任務(wù)可以帶來額外的性能增益，例如整體準(zhǔn)確率提高了5.3%，宏觀準(zhǔn)確率提高了8.3%。

結(jié)論與展望

綜上所述，UNIFIEDREWARD不僅為多模態(tài)理解和生成任務(wù)提供了一種全新的解決方案，而且通過聯(lián)合學(xué)習(xí)多個視覺任務(wù)，展現(xiàn)了強(qiáng)大的泛化能力和實(shí)際應(yīng)用潛力。未來的研究方向可能包括進(jìn)一步優(yōu)化模型架構(gòu)、探索更多類型的視覺任務(wù)以及擴(kuò)展到其他領(lǐng)域如自然語言處理等。

• 總結(jié)貢獻(xiàn)：提出了首個統(tǒng)一獎勵模型，解決了現(xiàn)有模型的局限性，顯著提升了跨域視覺任務(wù)的性能。
• 方法展望：建議繼續(xù)探索如何更好地整合不同類型的任務(wù)，以實(shí)現(xiàn)更加通用和高效的獎勵模型。

R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcing Learning

2025-03-07｜Alibaba Group|??9

??http://arxiv.org/abs/2503.05379v1???
???https://huggingface.co/papers/2503.05379???
???https://github.com/HumanMLLM/R1-Omni??

研究背景與意義

本研究聚焦于情感識別任務(wù)，特別是結(jié)合視覺和音頻信息的多模態(tài)大模型。當(dāng)前，強(qiáng)化學(xué)習(xí)（RL）在提升大模型性能方面展現(xiàn)出巨大潛力，尤其是通過可驗(yàn)證獎勵機(jī)制（RLVR）。然而，現(xiàn)有的RLVR應(yīng)用主要集中在圖像-文本模態(tài)上，尚未探索視頻中更豐富的信息源，如動態(tài)視覺內(nèi)容和音頻。

本文首次將RLVR應(yīng)用于視頻多模態(tài)大模型（Omni-model），旨在優(yōu)化其推理能力、情感識別準(zhǔn)確性和泛化能力。研究不僅顯著提升了模型在分布內(nèi)數(shù)據(jù)上的表現(xiàn)，還在分布外數(shù)據(jù)上展示了更強(qiáng)的魯棒性。此外，改進(jìn)后的推理能力使得不同模態(tài)（視覺和音頻）對情感識別的貢獻(xiàn)更加清晰，為多模態(tài)大模型的優(yōu)化提供了寶貴見解。

研究方法與創(chuàng)新

本研究采用了一種新穎的訓(xùn)練范式——強(qiáng)化學(xué)習(xí)與可驗(yàn)證獎勵（RLVR），并結(jié)合了組相對策略優(yōu)化（GRPO）。RLVR簡化了獎勵機(jī)制，確保模型輸出與任務(wù)的正確性標(biāo)準(zhǔn)對齊，而GRPO則通過比較生成響應(yīng)的質(zhì)量來優(yōu)化策略，無需額外的批評模型。

具體而言，我們擴(kuò)展了RLVR的應(yīng)用范圍，從傳統(tǒng)的數(shù)學(xué)和編程領(lǐng)域轉(zhuǎn)向多模態(tài)情感識別。通過使用MAFW和DFEW數(shù)據(jù)集中的15,306個視頻樣本進(jìn)行訓(xùn)練，盡管這些數(shù)據(jù)集僅提供情感類別標(biāo)注，但通過RLVR，我們成功增強(qiáng)了模型的推理、性能和泛化能力。

創(chuàng)新點(diǎn)：

1. 首次應(yīng)用：首次將RLVR應(yīng)用于視頻多模態(tài)大模型，特別是在情感識別任務(wù)中。
2. 增強(qiáng)推理能力：通過RLVR，模型能夠更清晰地理解視覺和音頻信息如何共同作用于情感識別。
3. 魯棒性提升：模型在分布外數(shù)據(jù)上的表現(xiàn)顯著優(yōu)于監(jiān)督微調(diào)（SFT）模型。
4. 結(jié)構(gòu)化輸出：引入了嚴(yán)格的格式獎勵，確保模型生成的解釋符合預(yù)定義的HTML標(biāo)簽格式，便于后續(xù)分析和評估。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)分為冷啟動階段和RLVR訓(xùn)練階段。冷啟動階段使用EMER數(shù)據(jù)集中的580個視頻樣本進(jìn)行預(yù)訓(xùn)練，以賦予模型初步的推理能力。隨后，通過RLVR進(jìn)一步優(yōu)化模型。

實(shí)驗(yàn)結(jié)果：

1. 推理能力增強(qiáng)：R1-Omni在多個數(shù)據(jù)集上表現(xiàn)出更強(qiáng)的推理能力和更高的解釋一致性。
2. 理解能力提升：在MAFW和DFEW數(shù)據(jù)集上，R1-Omni的無權(quán)重平均召回率（UAR）和加權(quán)平均召回率（WAR）均顯著高于其他模型。
3. 泛化能力更強(qiáng)：在RAVDESS數(shù)據(jù)集（作為分布外測試集）上，R1-Omni同樣表現(xiàn)出色，UAR和WAR分別達(dá)到43.00%和44.69%，遠(yuǎn)超SFT模型的表現(xiàn)。

結(jié)論與展望

本研究表明，RLVR在多模態(tài)情感識別任務(wù)中具有顯著優(yōu)勢，不僅提升了模型的推理和理解能力，還增強(qiáng)了其在未見過的數(shù)據(jù)上的泛化能力。未來的研究方向包括：

1. 加強(qiáng)基礎(chǔ)模型能力：通過更大規(guī)模的預(yù)訓(xùn)練或更多樣化的數(shù)據(jù)集來進(jìn)一步提升基礎(chǔ)模型的性能。
2. 減少推理幻覺：開發(fā)機(jī)制以檢測和減輕模型在推理過程中可能出現(xiàn)的幻覺現(xiàn)象。
3. 充分利用音頻線索：改進(jìn)模型對音頻特征（如語調(diào)和抑揚(yáng)頓挫）的提取和整合能力。
4. 深化情感智能：引導(dǎo)模型探索更深層次的心理活動和情感驅(qū)動因素，提升其捕捉復(fù)雜情感動態(tài)的能力。

盡管R1-Omni取得了顯著進(jìn)展，但在字幕識別、推理幻覺和音頻利用等方面仍存在局限性，需要進(jìn)一步研究和改進(jìn)。

本文轉(zhuǎn)載自??AI研究前瞻??，作者：胡耀淇