地球科學是一門古老的學科，不僅研究巖石、礦物和土地的性質，還探討地球的氣候、海洋、大氣、生態系統等多個方面現象和原理。地學與我們的日常生活息息相關，幫助我們預測天氣，了解地球的演化歷史，維護海洋生態系統平衡和海洋資源均衡等。同時火山活動、地震、恐龍化石、氣象現象等引人入勝的內容，也被一個個地學工作者闡述出來，帶給大家一個又一個令人驚奇和引人入勝的故事。

圖片

圖：地學領域詞云圖；研究各個地學年代的地學論文數量的分布。

總的來說，地球科學是一門理論性、應用性都很強的自然科學。從理論性上來說，它承擔著揭示自然界奧秘與規律的使命。從應用性上來看，它為生活在地球上的人類如何適應、利用、保護自然提供了科學的方法論。但是一味的通過傳統的理論和實踐的方法并不能高效的發現新的地學理論，整合傳統的地球科學和利用計算機科學的處理大數據成了地球科學的新科研范式。

很長一段時間以來，計算機科學已經成為地球科學不可或缺的一部分。地球科學涉及大量的數據，包括文獻數據、地質數據、氣象數據、遙感數據等。計算機科學提供了處理、存儲和分析這些海量圖片、文本和數字等模態的數據的工具和技術。這兩個學科的交叉融合已經成為大勢所趨。

其中，文本數據挖掘是重要的但是最容易被忽視的一個重要組成部分。從大量的文本數據中提取有關地球科學的信息、模式和趨勢，可以加深對地球科學的理解，并為科學研究、決策制定和問題解決提供支持。與此同時，近年大火的語言模型又是文本數據挖掘重要的工具。因此，在這樣的一個屬于大語言模型的時代，推出一個地球科學這個垂直領域的基座語言模型勢在必行。

最近，來自上海交通大學的團隊推出一個 70 億參數的地球科學大語言模型名叫 K2。K2 是基于初代 LLaMA-7B 模型，并使用了 100 萬余篇地球科學文獻以及和地球科學相關的維基百科的文章進行更進一步的預訓練。同時設計了第一個地球科學領域的微調數據集 GeoSignal，包含文章內容、類別、參考文獻、提到的實體等，適用于解決回答地球科學方面的專業問題、完成命名實體提取、地學概念上下位關系判斷等任務。

圖：地球科學領域大語言模型 K2 的構建流程圖。

區別于大多數垂直領域的模型訓練的思路，該團隊通過獨特的數據重構技術生成指令微調的數據，而不僅僅是利用 self-instruct 等方法，利用 ChatGPT 生成的數據來進行指令數據的采集。

同時為了評估模型在地學知識的理解和應用方面的能力，他們還建立了第一個地球科學語言模型的基準 GeoBenchmark，它主要由中國的地理、地質學的考研題目和美國的地理、地質與環境科學的 AP 考試題目組成。有意思的是，ChatGPT 和 GPT4 在地學相關的 AP 考試上的分數并沒有隨著 GPT4 的技術報告一同給出，留給大家十足的想象空間。

在大模型紛爭的時代，大多數垂直領域的大模型訓練都有統一的范式，那就是先進行專業領域語料的預訓練，再進行指令微調。但是大多數的模型在預訓練階段使用的數據并不透明，指令微調的數據更多的是蒸餾 ChatGPT 來抑或進行高價的人工標注。但是 K2 針對地學這一個垂直領域給出了一套技術路線，從計算機角度通過數據的整合和提煉來進行學科交叉的知識工程和模型構建，這是 K2 之于數據挖掘和自然語言領域的貢獻之一。

針對預訓練數據，該團隊基于 Grobid，PyPDF2 和 DeepShovel  (https://deepshovel.deep-time.org/) 等工具開發了一套數據清洗工具包。

DeepShovel：是一款輔助地學科學家進行知識抽取的文獻標注平臺，也陸續推廣至所有的學術領域。目前 DeepShovel 以及輔助超過一百家地球科學的科研單位。

其中，每一篇地學開放獲取（Open Access）的論文都會被轉化成對于計算機來說可讀性極高的 Markdown 格式的文本，有著多級標題的區分、公式和引用的特殊詞元（Special Token）以及圖片和表格的注釋文本也被特殊詞元保存下來。經過一系列的操作，累計獲取了 5.5B 詞元（Tokens）的文本語料。目前他們正在構建更大的學術資源的語料，旨在進行更大規模的學術大模型的訓練。

針對指令微調數據，該團隊通過多個自主研發平臺上的數據融合，通過數據重構，將具備一定結構化的網頁進行了解構，并重組成一套 knowledge-intensive 的數據。在這個過程中，上海交通大學團隊集中團隊內部所有的平臺課題組的力量，進行數據的充分重組，從而構建了一套獨一無二的具有特定地學任務的知識性指令微調數據集。

據論文描述，上海交通大學團隊在過去的 3 年，相應 DDE 大科學計劃（https://deep-time.org/）的號召，完成研發的地學數據和功能平臺共 4 個。

• Deep literature

    https://ddescholar.acemap.info/ 

    致力于打造地學領域的 DBLP，將所有的地學學術文獻進行整合并依托這個平臺進行一系列的數據挖掘和學者畫像的分析。

• GAKG

    https://gakg.acemap.info/ 

    致力于打造地學領域的多模態學術知識圖譜，對所有的地學學術文獻進行數據的挖掘，抽取文獻之間的關聯關系、地學知識點之間的上下位等語義關系以及地學文獻內的知識挖掘。對外提供了語義查詢和文本搜索系統，也是 CIKM 歷史上第一篇地球科學相關的科研文章。GAKG 對外也提供了數據下載、語義查詢和文本搜索的平臺。同時，GAKG 的技術工作也發表在 CIKM 上，也是一篇計算機科學領域與地球科學交叉研究的科研文章。

• GSO

    https://gso.acemap.info/ 

    是利用機器生成人工修正的地學知識樹系統，用上下位關系維護了地學知識點之間的關聯，這給大模型提供了很好的地學知識鏈接預測的監督信號。

• DataExpo

    https://dataexpo.deep-time.org/

    通過關鍵詞檢索以及文本分類歸納了所有的地學數據集。

這些平臺承載著地學的知識元數據，如果通過人工整合平臺底層的數據邏輯，將可以很快的獲得地學知識之間關聯關系，以及一定的任務驅動的數據集。

基于 DDE Scholar 可以獲得地學相關的科研文獻，并且通過其中 OA 的文獻的下載鏈接，可以下載下來構建預訓練語料，通過 GAKG，可以構建實體抽取的數據集，語義上下位詞的知識判斷的數據集。通過 DeepShovel 一直以來的數據積累，可以構建特定任務的地學問答系統，以及文獻中表格抽取的數據集。通過 DataExpo，可以得到數據集相關的知識文本，也可以一定程度上類似科研文獻一般，提供地學知識的監督信號。

當然，一定程度上的蒸餾 ChatGPT 確實能輔助模型向 ChatGPT 靠攏，因此針對不同的地學領域，K2 還集成了一套基于 Self-instruct 的指令微調數據集，并且在 ChatGPT 生成之后也通過了專業地學同事的審核，進而得到高質量的監督效果。

最后上海交通大學團隊通過人工和機器相結合的方法，對這些指令進行清洗，并最后構成了一套 39k 大小的地學知識性指令微調數據集。在這個數據集中，蒸餾 ChatGPT 的占比并不高，因為在交大團隊看來這類數據僅僅只是 QA 任務的一種監督，并不能很好的泛化到其他更難的任務中。

最后，上海交通大學團隊聘請了專業的地學翻譯專家，將近幾年的地學的考研題進行了翻譯，并結合美國高中的 AP 考試中的地學相關的科目，構建了 GeoBenchmark，與同等大小的模型相比，K2 以較少的數據成本，最終得到了如下結果：

除此之外，該團隊還發現，在微調 K2 的過程中，也是比較有技巧的，如果只利用知識性的指令微調數據，模型并不能達到最好的效果，甚至也只比利用 alpaca 這類開源的和地球科學無關的指令微調數據達到的效果好一些。但是令人激動的是，如果先利用 alpaca 這類指令微調數據進行微調，再利用知識性指令微調數據進行更進一步的訓練，達到的效果則更優秀。

目前尚且不知道這個特性是不是只在地球科學領域存在，因為這種現象類似于，先讓一個小朋友學會說人話，再學會說行話。面對晦澀難懂的學科，多一條這樣的思路，不失為一種方法。

這個現象是否廣泛存在呢，答案是很有可能的，在一次由喬治亞大學的買庚辰教授組織的 GeoAI 的研討會上，來自喬治亞大學和哈佛大學的團隊也在訓練 radiology 領域的生成式模型的過程中也發現了這一現象。充分說明，要想成為專家，要先學會 “做人”。

在整個過程中，K2 的訓練和研發可謂是坎坷曲折，由于領域壁壘較高，因此很難直接獲得專家的標注，如果從需求出發，地學領域的需求也很難直接轉化為計算機領域的任務。最后，這款地學領域的大模型還是從成功地從計算機角度出發訓練完成了，給后續的地學領域的大模型一定的參考意義。

目前看來，在國際社區中，K2 的應用前景非常廣闊。例如，它可以用于自然語言理解、結合 GAKG 進行信息檢索增強的 QA 任務和文本生成等任務。此外，在未來 K2 還可以用于地球科學領域的知識圖譜構建和地球科學文獻的自動化分析等方面。在地學類資訊公司的社交圈子里，已經廣泛討論了該團隊這一令人激動的工作。例如：

1.https://paulhcleverley.com/2023/08/03/worlds-first-geoscience-large-language-model/

2.https://www.linkedin.com/posts/paulhcleverley_geosciences-largelanguagemodels-artificialintelligence-activity-7093001271632101376-jzAc 

• Paper: https://arxiv.org/abs/2306.05064
• Code: https://github.com/davendw49/k2

關于 DDE 國際大科學計劃

K2 是響應深時數字地球（DDE）國際大科學計劃號召，由計算機領域的科研工作者深入地學領域進行數據采集分析，打開了一條計算機科學與地球科學交叉研究的新思路。DDE 國際大科學計劃是全國唯一一個國際大科學計劃，由中國地質大學王成善院士，中國科學院地理科學與資源研究所周成虎院士等中國地球科學的科學家領導的，致力于建設一個為應對全球科技挑戰、支撐全球或者區域命運共同體提供社會所需知識的國際平臺來實現聚合全球地學大數據，構建數據驅動的地球科學發現的目的。