火熱了半年多，國(guó)內(nèi)大模型領(lǐng)域迎來(lái)中場(chǎng)戰(zhàn)事，眼下入場(chǎng)的包括在垂直領(lǐng)域深耕多年的機(jī)構(gòu)、企業(yè)，開(kāi)始借助行業(yè)特色優(yōu)勢(shì)打入大模型戰(zhàn)場(chǎng)。

近日，北京交通大學(xué)聯(lián)合中國(guó)計(jì)算機(jī)學(xué)會(huì)智慧交通分會(huì)與足智多模公司等正式發(fā)布、開(kāi)源了自主研發(fā)的國(guó)內(nèi)首款綜合交通大模型 ——TransGPT?致遠(yuǎn)。

項(xiàng)目地址：https://github.com/DUOMO/TransGPT

TransGPT?致遠(yuǎn)的訓(xùn)練基于約 34.6 萬(wàn)條交通領(lǐng)域文本數(shù)據(jù)（用于領(lǐng)域內(nèi)預(yù)訓(xùn)練）和 5.8 萬(wàn)條交通領(lǐng)域?qū)υ?huà)數(shù)據(jù)（用于微調(diào)），可支持實(shí)時(shí)類(lèi) APP 接入（地圖、公交等應(yīng)用）。目前，TransGPT?致遠(yuǎn)已開(kāi)源，相關(guān)資源不僅對(duì)學(xué)術(shù)研究完全開(kāi)放，僅需郵件申請(qǐng)并獲得官方商用許可后，即可以免費(fèi)商用。

與通用型的多模態(tài)交通大模型產(chǎn)品不同，TransGPT 主要致力于在真實(shí)交通場(chǎng)景中發(fā)揮實(shí)際價(jià)值，包括交通情況預(yù)測(cè)、智能咨詢(xún)助手、公共交通服務(wù)、交通規(guī)劃設(shè)計(jì)、交通安全教育、協(xié)助管理、交通事故報(bào)告和分析、自動(dòng)駕駛輔助系統(tǒng)等能力。

功能特色

「TransGPT 綜合交通大模型」的主要功能和特色如下：

1. 交通安全教育：交通大模型可以用于生成交通安全教育材料，如安全駕駛的建議、交通規(guī)則的解釋等。

2. 智能出行助手：在車(chē)輛中的智能助手可以使用大型交通大模型來(lái)理解和生成更自然、更復(fù)雜的對(duì)話(huà)，幫助駕駛者獲取路線(xiàn)信息、交通更新、天氣預(yù)報(bào)等。自動(dòng)回答關(guān)于公共交通服務(wù)的問(wèn)題，如車(chē)次、票價(jià)、路線(xiàn)等。這可以提高服務(wù)效率并提升乘客體驗(yàn)。

3. 智能交通管理：通過(guò)實(shí)時(shí)監(jiān)測(cè)和分析車(chē)輛、道路、信號(hào)燈等信息，協(xié)助智能協(xié)調(diào)交通流量，減少交通擁堵。分析社交媒體或新聞報(bào)道中的文本信息，預(yù)測(cè)交通流量、交通堵塞或事故的可能性。同時(shí)，該模型能分析交通事故歷史和特征，給出相應(yīng)對(duì)策和方案，減少交通事故的發(fā)生。

4. 智能交通規(guī)劃：交通大模型可以幫助分析公眾對(duì)于交通規(guī)劃提案的反饋和意見(jiàn)，提供決策者更全面的信息。

5. 交通事故報(bào)告和分析：交通大模型可以幫助快速理解和分類(lèi)交通事故報(bào)告，提供事故原因的初步分析。

6. 交通政策研究：大型交通大模型可以用于分析公眾對(duì)于交通政策的反饋，或者生成關(guān)于交通政策影響的報(bào)告。這可以幫助政策制定者更好地了解政策的實(shí)際效果。

TransGPT 交通大模型已經(jīng)具備面向 BIM 模型審核員、智能運(yùn)維、智能咨詢(xún)等場(chǎng)景的應(yīng)用落地能力，將大幅度促進(jìn)鐵路工程等數(shù)字化轉(zhuǎn)型和智能化提升。韓文娟團(tuán)隊(duì)介紹，交通大模型采用了基于 Transformer 架構(gòu)的文本大模型、多模態(tài)大模型與實(shí)時(shí)場(chǎng)景數(shù)據(jù)調(diào)用能力，整體上形成綜合交通大模型為基礎(chǔ)設(shè)施、輔以交通細(xì)分行業(yè)應(yīng)用的架構(gòu)。支持實(shí)時(shí)類(lèi)應(yīng)用，包括：駕車(chē)規(guī)劃、公共交通規(guī)劃、（逆）地理編碼查詢(xún)等落地場(chǎng)景應(yīng)用能力，能夠促進(jìn)鐵路交通等領(lǐng)域的數(shù)字化轉(zhuǎn)型和智能化提升。

數(shù)據(jù)

TransGPT 背后團(tuán)隊(duì)北京交通大學(xué)長(zhǎng)期深耕交通主賽道，形成了數(shù)據(jù)壁壘，因而對(duì)于構(gòu)建綜合交通大模型有很多先天優(yōu)勢(shì)，其數(shù)據(jù)內(nèi)容覆蓋以下交通行業(yè)：

數(shù)據(jù)來(lái)源包含以下方面：

模型

目前已開(kāi)源內(nèi)容包括：

• 模型 TransGPT 
• 數(shù)據(jù)集 TransGPT-DATA-sft (可商用)
• 數(shù)據(jù)集 TransGPT-DATA-pt (可商用)

語(yǔ)言模型

研究者基于 chinese-alpaca-plus-7b-hf 模型框架訓(xùn)練了綜合交通大模型的語(yǔ)言模型版本。實(shí)現(xiàn)了包括通用領(lǐng)域預(yù)訓(xùn)練、交通領(lǐng)域內(nèi)預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)訓(xùn)練。

交通領(lǐng)域的訓(xùn)練過(guò)程如下：

1. 從原始 pdf、docx，doc 格式文件中提取文本

2. 利用 LLM 根據(jù)文檔生成對(duì)話(huà)數(shù)據(jù)（微調(diào)對(duì)話(huà)數(shù)據(jù)生成方法見(jiàn) LLMforDialogDataGenerate）

3.pt 訓(xùn)練代碼見(jiàn) supervised_finetuning.py。

4.sft 訓(xùn)練代碼見(jiàn) supervised_finetuning.py。

多模態(tài)模型

在多模態(tài)復(fù)雜場(chǎng)景中，圖片和文本的細(xì)粒度對(duì)應(yīng)是一項(xiàng)挑戰(zhàn)，特別是在存在多個(gè)圖像且圖像的順序、絕對(duì)位置和相對(duì)位置至關(guān)重要的復(fù)雜環(huán)境中。為了準(zhǔn)確地指示圖像位置，區(qū)別圖像表征和文本表征，研究者使用了圖像標(biāo)志（image token，即 <\image n>），并且模型允許多圖像輸入（<\image 1>、<\image 2>））。

為了充分利用 LLM 的優(yōu)勢(shì)，研究者利用強(qiáng)大的 LLM（Vicuna）作為骨干。訓(xùn)練過(guò)程中凍結(jié)語(yǔ)言模型（LLM）和視覺(jué)編碼器（visual encoder）的參數(shù)，解凍 LLM 和 visual encoder 之間的連接模塊（Q-former）的參數(shù)，并在交通領(lǐng)域數(shù)據(jù)集上對(duì)其進(jìn)行微調(diào)。從而既能利用 LLM 和 visual encoder 預(yù)訓(xùn)練的知識(shí)，同時(shí)使其適應(yīng)交通多模態(tài)場(chǎng)景中的特定需求。

多模態(tài)模型訓(xùn)練包括三步：

1. 預(yù)訓(xùn)練：預(yù)訓(xùn)練的視覺(jué)編碼器和 LLM 都保持凍結(jié)，只有 Q-Former 需要學(xué)習(xí)與文本最相關(guān)的視覺(jué)表示，并由 LLM 通過(guò)類(lèi)似 LAION-400M 的訓(xùn)練進(jìn)行解釋。

2. 多模態(tài)指令微調(diào)：執(zhí)行多模態(tài)指令微調(diào)以提高 VLM 的性能，類(lèi)似 [InstructBLIP](https://github.com/salesforce/LAVIS/projects/instructblip)。

3. 多模態(tài)上下文指令微調(diào)：進(jìn)一步在數(shù)據(jù)集中執(zhí)行多模態(tài)上下文指令微調(diào)，以激活處理 VLM 的多圖像輸入的能力。這個(gè)階段使其能夠充分激發(fā)多模態(tài)環(huán)境中 LLM 令人印象深刻的推理潛力。

評(píng)測(cè)

研究者在交通 benchmark 上進(jìn)行了 zero-shot 評(píng)測(cè)：

1. 交通安全教育：生成交通安全教育材料，如安全駕駛的建議、交通規(guī)則的解釋等。

2. 交通情況預(yù)測(cè)：分析社交媒體或新聞報(bào)道中的文本信息，預(yù)測(cè)交通流量、交通堵塞或事故的可能性。

3. 事故報(bào)告和分析：理解交通事故報(bào)告，提供事故原因的初步分析。

4. 交通規(guī)劃：分析公眾對(duì)于交通規(guī)劃提案的反饋和意見(jiàn)，提供決策者更全面的信息。

寫(xiě)在最后

以交通行業(yè)大模型為關(guān)鍵驅(qū)動(dòng)，TransGPT 運(yùn)用現(xiàn)代信息技術(shù)，集成感知、通信、控制、決策、協(xié)同等功能，實(shí)現(xiàn)交通設(shè)施、交通運(yùn)輸工具、交通管理和交通服務(wù)的智能化，賦能行業(yè)生產(chǎn)效率和服務(wù)質(zhì)量提升，將會(huì)推動(dòng)交通行業(yè)的深刻變革。實(shí)際應(yīng)用行業(yè)場(chǎng)景的反饋，又將進(jìn)一步加速交通行業(yè)大模型的技術(shù)迭代，從而提高國(guó)產(chǎn)交通大模型的競(jìng)爭(zhēng)力。「TransGPT 綜合交通大模型」可化身為「交通行業(yè)專(zhuān)家、工程師」，與交通行業(yè)政策制定者、執(zhí)行者、工程師、運(yùn)維人員、普通用戶(hù)進(jìn)行交流合作，提供支撐輔助能力，協(xié)助其分析解決方法并提供決策建議。

此前，北京交通大學(xué)長(zhǎng)期深耕交通主賽道，在人工智能交通行業(yè)大模型能力上已具備一定基礎(chǔ)，形成了一定的行業(yè)壁壘、數(shù)據(jù)壁壘、知識(shí)壁壘，逐步夯實(shí)了面向鐵路工程、道路工程、橋梁工程、隧道工程、公路運(yùn)輸、水路運(yùn)輸、城市公共交通運(yùn)輸、交通運(yùn)輸經(jīng)濟(jì)、交通運(yùn)輸安全等交通行業(yè)大模型優(yōu)勢(shì)。

綜合交通大模型的誕生只是一個(gè)起點(diǎn)，其最終還是要落腳到特定細(xì)分的交通應(yīng)用場(chǎng)景。未來(lái)，團(tuán)隊(duì)將以 TransGPT 綜合交通大模型為基礎(chǔ)，打 造以交通知識(shí)大模型為中心、以實(shí)時(shí)信息為渠道，自主預(yù)測(cè)、提前預(yù)警、主動(dòng)服務(wù)的交通一體化體系，為交通參與者提供多樣性的服務(wù)，從而使人、車(chē)、路之間的相互作用關(guān)系以新的方式呈現(xiàn)，從而實(shí)現(xiàn)實(shí)時(shí)、準(zhǔn)確、高效、安全、節(jié)能的目標(biāo)。