在圖像理解領(lǐng)域，多模態(tài)大模型已經(jīng)充分展示了其卓越的性能。然而，對(duì)于工作中經(jīng)常需要處理的圖表理解與生成任務(wù)，現(xiàn)有的多模態(tài)模型仍有進(jìn)步的空間。

盡管當(dāng)前圖表理解領(lǐng)域中的最先進(jìn)模型在簡(jiǎn)單測(cè)試集上表現(xiàn)出色，但由于缺乏語(yǔ)言理解和輸出能力，它們無(wú)法勝任更為復(fù)雜的問(wèn)答任務(wù)。另一方面，基于大語(yǔ)言模型訓(xùn)練的多模態(tài)大模型的表現(xiàn)也不盡如人意，主要是由于它們?nèi)狈︶槍?duì)圖表的訓(xùn)練樣本。這些問(wèn)題嚴(yán)重制約了多模態(tài)模型在圖表理解與生成任務(wù)上持續(xù)進(jìn)步。

近期，騰訊聯(lián)合南洋理工大學(xué)、東南大學(xué)提出了 ChartLlama。研究團(tuán)隊(duì)創(chuàng)建了一個(gè)高質(zhì)量圖表數(shù)據(jù)集，并訓(xùn)練了一個(gè)專注于圖表理解和生成任務(wù)的多模態(tài)大型語(yǔ)言模型。ChartLlama 結(jié)合了語(yǔ)言處理與圖表生成等多重性能，為科研工作者和相關(guān)專業(yè)人員提供了一個(gè)強(qiáng)大的研究工具。

論文地址：https://arxiv.org/abs/2311.16483

主頁(yè)地址：https://tingxueronghua.github.io/ChartLlama/

ChartLlama 的團(tuán)隊(duì)構(gòu)思出了一種巧妙的多元化數(shù)據(jù)收集策略，通過(guò) GPT-4 生成特定主題、分布和趨勢(shì)的數(shù)據(jù)，來(lái)確保數(shù)據(jù)集的多樣性。研究團(tuán)隊(duì)綜合開(kāi)源的繪圖庫(kù)與 GPT-4 的編程能力，來(lái)編寫(xiě)圖表代碼，生成精確的圖形化數(shù)據(jù)表示。此外，研究團(tuán)隊(duì)還運(yùn)用 GPT-4 描述圖表內(nèi)容和生成問(wèn)答對(duì)，為每個(gè)圖表生成了豐富多樣的訓(xùn)練樣本，以確保經(jīng)過(guò)訓(xùn)練的模型能夠充分的理解圖表。

圖表理解領(lǐng)域中，傳統(tǒng)模型僅能實(shí)現(xiàn)諸如讀取圖表中的數(shù)字這種簡(jiǎn)單的 QA 任務(wù)，無(wú)法對(duì)較復(fù)雜的問(wèn)題進(jìn)行回答。具體來(lái)說(shuō)，它們難以跟隨較長(zhǎng)的指令，在涉及數(shù)學(xué)運(yùn)算的問(wèn)答中，也經(jīng)常出現(xiàn)運(yùn)算錯(cuò)誤，而 ChartLlama 可以有效的避免此類問(wèn)題，具體對(duì)比如下所示：

在傳統(tǒng)任務(wù)之外，研究團(tuán)隊(duì)也定義了若干新任務(wù)，其中有三個(gè)任務(wù)涉及到了圖表生成，論文中給出了相關(guān)示例：

給定圖表和指令，進(jìn)行圖表重建與圖表編輯的示例

根據(jù)指令和原始數(shù)據(jù)，生成圖表的示例

在各種基準(zhǔn)數(shù)據(jù)集上，ChartLlama 都達(dá)到了 SOTA 水平，需要的訓(xùn)練數(shù)據(jù)量也更少。其靈活的數(shù)據(jù)生成與收集方法，極大地拓寬了圖表理解與生成任務(wù)中圖表和任務(wù)的種類，推動(dòng)了該領(lǐng)域的發(fā)展。

方法概述

ChartLlama 設(shè)計(jì)了一種靈活的數(shù)據(jù)收集方法，利用 GPT-4 的強(qiáng)大語(yǔ)言能力和編程能力，創(chuàng)建了豐富的多模態(tài)圖表數(shù)據(jù)集。

ChartLlama 的數(shù)據(jù)收集包括三個(gè)主要階段：

• 圖表數(shù)據(jù)生成：ChartLlama 不僅從傳統(tǒng)數(shù)據(jù)源收集數(shù)據(jù)，還利用 GPT-4 的能力產(chǎn)生合成數(shù)據(jù)。通過(guò)提供特定的特征，如主題、分布和趨勢(shì)，從而引導(dǎo) GPT-4 產(chǎn)生多樣化和平衡的圖表數(shù)據(jù)。由于生成的數(shù)據(jù)包含了已知的數(shù)據(jù)分布特性，這使得指令數(shù)據(jù)的構(gòu)建更加靈活和多樣。
• 圖表生成：接著，利用 GPT-4 強(qiáng)大的編程能力，使用開(kāi)源庫(kù)（如 Matplotlib）根據(jù)已生成的數(shù)據(jù)和函數(shù)文檔來(lái)編寫(xiě)圖表繪制腳本，生成了一系列精心渲染的圖表。由于圖表的繪制完全是基于開(kāi)源工具，這種算法可以生成更多類型的圖表用于訓(xùn)練。對(duì)比已有數(shù)據(jù)集，例如 ChatQA，只支持三種圖表類型， ChartLlama 所構(gòu)建的數(shù)據(jù)集支持多達(dá) 10 種圖表類型，而且可以任意擴(kuò)展。
• 指令數(shù)據(jù)生成：除了圖表渲染外，ChartLlama 還進(jìn)一步利用 GPT-4 來(lái)描述圖表內(nèi)容，構(gòu)造多種多樣的問(wèn)答數(shù)據(jù)，以確保訓(xùn)練過(guò)的模型能全面理解圖表。這個(gè)全面的指令調(diào)整語(yǔ)料庫(kù)，融合了敘述文本、問(wèn)題 - 答案對(duì)以及圖表的源代碼或修改后的代碼。過(guò)往的數(shù)據(jù)集只支持 1-3 種圖表理解任務(wù)，而 ChartLlama 支持多達(dá) 10 種圖表理解與生成任務(wù)，能夠更好的幫助訓(xùn)練圖文大模型理解圖標(biāo)中的信息
  

經(jīng)過(guò)以上步驟，ChartLlama 創(chuàng)建了包含多種任務(wù)和多種圖表類型的數(shù)據(jù)集。其中不同類型的任務(wù)、圖表在總數(shù)據(jù)集中的占比如下所示：

更詳細(xì)的指令及其說(shuō)明請(qǐng)參考論文原文。

實(shí)驗(yàn)結(jié)果

無(wú)論是傳統(tǒng)任務(wù)還是新的任務(wù)，ChartLlama 都展現(xiàn)了最優(yōu)越的性能。傳統(tǒng)任務(wù)包括圖表問(wèn)答、圖表總結(jié)，以及圖表的結(jié)構(gòu)化數(shù)據(jù)提取。對(duì)比 ChartLlama 和此前最先進(jìn)的模型，結(jié)果如下圖所示：

研究人員也評(píng)估了 ChartLlama 所獨(dú)有的任務(wù)能力，包括圖表代碼生成，圖表總結(jié)和圖表編輯，同時(shí)也構(gòu)造了對(duì)應(yīng)任務(wù)的測(cè)試集，并與當(dāng)前最強(qiáng)的開(kāi)源圖文大模型 LLaVA-1.5 進(jìn)行了對(duì)比，結(jié)果如下所示：

研究團(tuán)隊(duì)還在類型各異的圖表中測(cè)試了 ChartLlama 的問(wèn)答準(zhǔn)確率，和之前的 SOTA 模型 Unichart 以及提出的基線模型進(jìn)行了對(duì)比，結(jié)果如下：

總的來(lái)說(shuō)，ChartLlama 不僅推動(dòng)了多模態(tài)學(xué)習(xí)的邊界，也為圖表的理解和生成提供了更精確和高效的工具。無(wú)論是在學(xué)術(shù)寫(xiě)作還是在企業(yè)演示中，ChartLlama 都將使圖表的理解和創(chuàng)造變得更加直觀和高效，在生成和解讀復(fù)雜視覺(jué)數(shù)據(jù)方面邁出了重要的一步。

對(duì)此研究感興趣的讀者可以移步論文原文，了解更多研究?jī)?nèi)容。