融合地理定位與對話能力的新型多模態模型

圖像地理定位技術在過去幾年取得了顯著進展，但傳統模型僅限于提供GPS坐標，缺乏對位置的深入理解和與用戶進行有意義對話的能力。中佛羅里達大學的研究團隊最近提出了一種創新解決方案——GAEA（Geolocation Aware Conversational Model），這是首個將精確地理定位能力與豐富對話功能相結合的開源多模態模型。

GAEA不僅能確定圖像的拍攝位置，還能提供關于該位置的詳細信息，包括附近的地標、自然景觀、餐廳、醫療設施及休閑區域等，從而為用戶提供全面的地理環境理解。

傳統地理定位的局限性與GAEA的創新

傳統圖像地理定位任務面臨諸多挑戰，包括季節變化、地理和氣候多樣性、太陽角度變化以及圖像分布不均等問題。盡管如GeoCLIP、PIGEON等最新模型在全球范圍內的地理定位準確性方面取得了顯著進展，但它們仍然缺乏對預測位置的地理理解和與用戶交流的能力。

如上圖所示，GAEA能夠在回答關于景總結、位置和地理背景的不同問題時做出準確預測。雖然GPT-4o-mini可以給出與區域相關的正確建議，但GAEA能提供與圖像位置鄰近的準確設施信息。

另一方面，雖然大型多模態模型(LMMs)如GPT-4o和Gemini-2.0等具有對話能力，但它們在地理定位等專業下游任務中表現不佳，預測結果往往不準確，在許多情況下甚至比隨機猜測更糟。

GAEA模型通過融合地理定位和對話能力，彌補了這一差距，為用戶提供了一個能夠準確識別位置并提供相關信息的交互式工具。

GAEA-1.6M：構建地理感知對話數據集

研究團隊面臨的主要挑戰之一是缺乏能夠訓練這類模型的大規模數據集。為解決這一問題，他們精心構建了GAEA-1.6M數據集，這是一個包含超過80萬張圖像和約160萬個問答對的綜合數據集。

數據集構建過程主要包括下幾個步驟：

1. 多源地理多樣化圖像采集：研究團隊從MediaEval 2016 (MP-16)、Google Landmarks v2 (GLDv2)和CityGuessr68k等多個數據源采集了地理多樣化的視覺樣本。他們使用GeoCLIP對MP-16中的300萬張戶外圖像進行過濾，保留了可地理定位的圖像，并使用S2-Cells技術確保全球覆蓋的均衡性。
2. 元數據整合：為每張圖像添加了豐富的元數據，包括：

• OpenStreetMap (OSM)提供的1公里半徑內的地理信息
• 國家特定的地理線索（從GeoGuessr游戲社區資源Plonkit獲取）
• K?ppen-Geiger氣候區域分類
• 交通方向數據
• 土地覆蓋使用統計

Places2數據庫的場景標簽

3. 問答對生成：基于收集的圖像和元數據，研究團隊生成了多樣化的問答對，分為三個子集：

• 對話子集

利用OSM元數據生成38萬個對話QA對，包括短答案、多選和是非題

• 地理定位子集

包含82萬個圖像-問題對，旨在幫助模型預測圖像的正確位置

• 推理子集

生成38.5萬個知識驅動的長問答對，增強模型的細粒度推理能力

GAEA-1.6M數據集覆蓋了234個國家和地區、40,000多個城市和7個大洲，是目前最大、最全面的可地理定位和對話QA對集合。

GAEA-Bench：評估地理定位對話能力的基準

為了定量評估LMMs的對話能力并解決地理定位環境中基準數據集的稀缺問題，研究團隊提出了GAEA-Bench，這是一個包含4,000個對話問題樣本的多樣化集合。

如上圖所示，GAEA-Bench旨評估各種LMM在不同問題類型下的對話能力，包括多選題(MCQs)、是非題(T/F)以及短答和長答視覺問答(VQAs)。研究團隊從MP-16中精心選擇了4,000個樣本，并生成了相應的OSM元數據，使用GPT-4o生成問答對。

GAEA-Bench包含：

• 1,000個短形式問題(SVQA)
• 1,000個多選題(MCQ)
• 1,000個是非題(T/F)
• 1,000個長形式問題(LVQA)

這些問題類型的多樣性使得GAEA-Bench能夠全面評估模型的地理定位和對話能力。

研究團隊從OSM元數據中精心選擇地理標簽來生成問答對。

GAEA架構與訓練

GAEA基于開源模型Qwen2.5-VL的架構，該架構無縫集成了：

1. 視覺編碼器
2. 視覺到語言的投影器
3. 語言模型

如上圖所示，GAEA采用單階段訓練策略，包括可訓練的MLP層和LLM權重。重新設計的視覺變換器(ViT)架構融合了2D-RoPE和窗口注意力機制。投影器是一個兩層多層感知器(MLP)，用于對齊ViT的原始補丁特征，并通過連接圖像嵌入和文本嵌入提供最終表示。

訓練細節包括：

• 在GAEA-1.6M的所有三個子集（地理定位、推理和對話）上進行單階段微調
• 采用LoRA微調技術，秩r=16，α=32
• 視覺到語言MLP投影器未凍結
• 應用動態分辨率處理：小于448×448的圖像上采樣，超過1000×1000的圖像下采樣
• 模型訓練一個epoch，共12,600步

評估與結果

研究團隊從三個關鍵維度定義了評估過程：

1. 對話準確性
2. 定量地理定位準確性
3. 分類準確性

對話評估

研究團隊在GAEA-Bench上對比了11個最先進的開源和閉源LMM。他們使用GPT-4o作為評判，根據不同的標準對各類問題的回答進行評分：

• 多選題和是非題使用準確性評分
• 短答案問題評估正確性
• 長答案問題評估一致性、相關性和地理正確性

上圖展示了評估流程，突出了GAEA-1.6M中引入的各種問題類型。研究團隊使用GPT-4o作為評判來對這些回答進行評分。

定量地理定位評估

研究團隊將GAEA與六個最先進的地理定位模型進行了比較，包括PlaNet、CPlaNet、ISNs、TransLocator、GeoDecoder和PIGEON，評估基準包括IM2GPS、IM2GPS3k和GWS15k。他們提示各種LMM輸出圖像所屬的城市和國家，使用GeoPy檢索GPS坐標并計算與地面真值的距離，比較輸出與1公里、25公里、200公里、750公里和2,500公里的距離閾值。

分類準確性

上圖展示了城市和國家級別的分類準確性流程。研究團隊引入了三個新數據集：GeoDE、DollarStreet和CityGuessr68k，用于城市和國家分類任務的評估。

實驗結果與討論

GAEA在GAEA-Bench上的表現優于所有其他模型，平均準確率達到66.06%，超過GPT-4o 8.28%，超過第二好的開源模型LLaVA-OneVision 25.69%。

在標準地理定位評估中，盡管GAEA是在具有地理定位能力的大規模對話數據集上訓練的，但它在與專門的編碼器模型相比時取得了競爭性結果。在IM2GPS3k上，GAEA在所有四個距離閾值上都優于GaGA，在25公里半徑處超過2.5%，在國家級別超過3.66%。

上圖展示了城市和國家標簽的分類準確性，GAEA建立了強大的基線，在性能上超過了幾個最新的LMM。

GAEA的應用前景與意義

GAEA的創新在于它不僅能夠確定圖像的地理位置，還能提供關于該位置的豐富信息，這在多個領域具有直接應用價值：

1. 旅游業：游客可以通過拍攝照片快速了解周圍環境、歷史背景、文化特色以及附近的餐廳、酒店等服務設施。
2. 導航與探索：用戶可以通過圖像識別位置，并獲取關于該區域的詳細信息，包括交通方式、地形特點等。
3. 城市規劃：規劃人員可以利用GAEA分析不同地區的特征和設施分布，為城市發展提供參考。
4. 安全與應急：在緊急情況下，可以通過圖像快速確定位置并獲取附近的醫療、警察等緊急服務設施信息。
5. 教育與研究：GAEA可以作為地理教育的工具，幫助學生了解不同地區的地理、文化和歷史特征。

結論與未來展望

GAEA是首個具有專門地理定位能力的交互式對話模型，在大規模對話數據集GAEA-1.6M上進行了專門訓練。研究團隊精心設計了數據集，以增強GAEA的推理、對話能力和地理定位準確性。他們從MP-16、GLDv2和CityGuessr68k中收集了可地理定位的圖像，并用輔助上下文和元數據（如地理線索和氣候區域）豐富了這些圖像。

除了高質量的指令集，研究團隊還提出了GAEA-Bench，這是一個全面的基準，可評估LMM在多種問題類型上的表現，包括多選題、是非題、短答和長答視覺問答。結果表明，GAEA在GAEA-Bench上優于最近的LMM，通過利用OpenStreetMap (OSM)數據展示了強大的地理定位和對話能力。

這項研究為地理定位領域開辟了新的研究方向，將傳統的坐標預測任務擴展為更加豐富、交互式的對話體驗。隨著技術的進一步發展，我們可以期待看到更多融合地理信息系統和大型語言模型的創新應用，為用戶提供更加智能、自然的地理信息交互方式。

未來的研究方向可能包括：

1. 進一步提高模型在非常規場景和罕見地點的地理定位準確性
2. 增強模型對時間變化（如季節、晝夜、年代）的理解能力
3. 擴展模型的多語言支持，使其能夠在更多語言環境中提供地理信息
4. 探索將GAEA與其他模態（如音頻、視頻）結合的可能性
5. 開發更加輕量級的模型版本，使其能夠在移動設備上運行

GAEA的出現標志著地理定位技術進入了一個新的階段，不再局限于簡單的坐標預測，而是向著更加智能、交互式的方向發展，為用戶提供更加全面、豐富的地理信息體驗。

論文：???https://arxiv.org/abs/2503.16423???

github:????https://ucf-crcv.github.io/GAEA/???

本文轉載自??頓數AI??，作者：蔥蔥