o1的風(fēng)又吹到多模態(tài)，直接吹翻了GPT-4o-mini
開源LLaVA-o1：一個設(shè)計用于進(jìn)行自主多階段推理的新型VLM。與思維鏈提示不同，LLaVA-o1獨(dú)立地參與到總結(jié)、視覺解釋、邏輯推理和結(jié)論生成的順序階段。
LLaVA-o1超過了一些更大甚至是閉源模型的性能，例如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。
基礎(chǔ)模型與LLaVA-o1的比較。基礎(chǔ)模型Llama-3.2-11B-Vision-Instruct在推理過程中有明顯的缺陷，整個推理過程中出現(xiàn)了幾個錯誤。相比之下，LLaVA-o1首先概述問題，從圖像中解釋相關(guān)信息，然后進(jìn)行逐步推理過程，并最終得出一個有充分支持的結(jié)論。
LLaVA-o1如何煉成
LLaVA-o1模型的結(jié)構(gòu)化推理框架，專門的數(shù)據(jù)集和訓(xùn)練方法，以及推理時的階段性束搜索策略，來提高模型在復(fù)雜任務(wù)中的推理能力和擴(kuò)展性。
- 結(jié)構(gòu)化推理階段：
- 總結(jié)階段（Summary Stage）：LLaVA-o1在這一階段提供對問題的高層次總結(jié)，概述它打算解決的問題的主要方面。
- 圖像描述階段（Caption Stage）：如果存在圖像，LLaVA-o1提供與問題相關(guān)的圖像元素的簡潔概述，幫助理解多模態(tài)輸入。
- 推理階段（Reasoning Stage）：在初始總結(jié)的基礎(chǔ)上，LLaVA-o1進(jìn)行結(jié)構(gòu)化、邏輯推理，得出初步答案。
- 結(jié)論階段（Conclusion Stage）：在最后階段，LLaVA-o1根據(jù)前面的推理綜合答案。結(jié)論階段的輸出是直接提供給用戶的響應(yīng)，而前三個階段是內(nèi)部的“隱藏階段”，代表LLaVA-o1的推理過程。
- 四對特殊標(biāo)簽：<SUMMARY></SUMMARY>、<CAPTION></CAPTION>、<REASONING></REASONING>和<CONCLUSION></CONCLUSION>
- 數(shù)據(jù)準(zhǔn)備和模型訓(xùn)練：
- 由于現(xiàn)有的視覺問題回答（VQA）數(shù)據(jù)集缺乏訓(xùn)練LLaVA-o1所需的詳細(xì)推理過程，研究者們編譯了一個新的數(shù)據(jù)集LLaVA-o1-100k，整合了多個廣泛使用的VQA數(shù)據(jù)集的樣本。
- 使用GPT-4o生成包括總結(jié)、圖像描述、推理和結(jié)論的詳細(xì)推理過程，并將這些編譯成LLaVA-o1-100k數(shù)據(jù)集。
- 選擇了Llama-3.2-11B-Vision-Instruct模型作為基礎(chǔ)模型，并使用LLaVA-o1-100k數(shù)據(jù)集進(jìn)行全參數(shù)微調(diào)。
- 有效的推理時擴(kuò)展使用階段性束搜索：
- 訓(xùn)練完成后的目標(biāo)是在推理期間進(jìn)一步增強(qiáng)模型的推理能力。LLaVA-o1的輸出設(shè)計為結(jié)構(gòu)化，提供了理想的粒度，用于推理時擴(kuò)展。
- 采用階段性束搜索方法，該方法在每個推理階段生成多個候選結(jié)果，并選擇最佳結(jié)果以繼續(xù)生成過程。
- 通過在每個階段進(jìn)行有效的驗證，這種方法驗證了結(jié)構(gòu)化輸出在提高推理時擴(kuò)展中的有效性。
推理方法的示意圖。最佳選擇法（Best-of-N search）生成N個完整的響應(yīng)，并從中選擇最好的一個；句子級束搜索（Sentence-level Beam Search）為每個句子生成多個候選項并選擇最好的一個。相比之下，LLaVA-o1的階段性束搜索（Stage-level Beam Search）為每個推理階段（例如，總結(jié)、標(biāo)題、推理和結(jié)論）生成候選項，并在每個階段選擇最佳選項。最佳選擇法在粗略層面上操作，而句子級束搜索過于細(xì)致，而LLaVA-o1的方法實現(xiàn)了最佳平衡并取得了最佳性能。
有無階段性束搜索的LLaVA-o1性能比較。LLaVA-o1的階段性束搜索在模型推理過程中有效地選擇了更好的推理。
實驗數(shù)據(jù)
- LLaVA-o1在多模態(tài)推理基準(zhǔn)測試中相較于其基礎(chǔ)模型Llama-3.2-11B-Vision-Instruct實現(xiàn)了8.9%的性能提升。
- LLaVA-o1在各種基準(zhǔn)測試中不僅超越了基礎(chǔ)模型，還超過了一些更大甚至是閉源模型，例如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。
- 結(jié)構(gòu)化標(biāo)簽（structured tags）對于模型性能至關(guān)重要。去除這些標(biāo)簽后，模型性能顯著下降，說明這些標(biāo)簽有助于推理過程并提高了模型性能。
https://arxiv.org/pdf/2411.10440
LLaVA-o1: Let Vision Language Models Reason Step-by-Step
https://github.com/PKU-YuanGroup/LLaVA-o1本文轉(zhuǎn)載自??PaperAgent??
