眾所周知，傳統(tǒng)天氣預報的可靠性，多少都有些一言難盡。

最近，DeepMind和谷歌新研究出了一種基于機器學習的天氣模擬器，可以在60秒內(nèi)預測10天內(nèi)的天氣，而且準確率極高！

論文地址：https://arxiv.org/abs/2212.12794

1. GraphCast是一種基于圖神經(jīng)網(wǎng)絡(luò)的自回歸模型，性能優(yōu)于世界上最準確的機器學習天氣預報系統(tǒng)（中期天氣預報）；

2. GraphCast只需單臺Cloud TPU v4設(shè)備，即可在60秒內(nèi)生成10天內(nèi)的天氣預報（35GB數(shù)據(jù)），分辨率高達0.25°；

3. 通過在更大、更新、質(zhì)量更高的數(shù)據(jù)上進行訓練，可以進一步提升GraphCast預測的速度和準確性。

而在短期天氣預報方面，DeepMind曾于2021年9月在Nature上發(fā)文稱，其生成模型能以89%的絕對優(yōu)勢吊打其他方法。

中期天氣預報為什么那么難

「中期天氣預報」通常是指對未來于4至10天內(nèi)天氣變化趨勢的預報。其準確性，對于農(nóng)業(yè)、建筑業(yè)、旅游業(yè)等行業(yè)的政策制定來說至關(guān)重要。

為此，國際領(lǐng)先的歐洲中期天氣預報中心（ECMWF）， 每天都會提供多達四次的中期天氣預報。

在中期天氣預報的制作過程中，有兩個關(guān)鍵的組成部分都需要利用大規(guī)模高性能計算（HPC）集群進行模擬：

• 通過分析由氣象站、船舶等收集的當前和歷史數(shù)據(jù)來預測天氣狀況，也就是「數(shù)據(jù)同化」；
• 通過數(shù)值天氣預報（NWP）系統(tǒng)建立預測天氣相關(guān)變量將如何隨時間變化的模型。

然而，隨著數(shù)據(jù)量的顯著增加，NWP模型卻無法得到有效的擴展。

也就是說，雖然現(xiàn)在有大量的天氣和氣候觀測檔案，但我們卻很難直接利用這些數(shù)據(jù)來提高預報模型的質(zhì)量。

而改進NWP的方法，一般是由訓練有素的專家手動創(chuàng)造更好的模型、算法和近似值，這個過程耗時耗力，成本高昂。

相比之下，基于機器學習方法可以利用更多、更高質(zhì)量的可用數(shù)據(jù)來提高模型的準確性，而且計算預算通常要低得多。

GraphCast

在論文「GraphCast：中期全球天氣準確預報學習」中，DeepMind以「編碼-處理-解碼」的方式使用圖神經(jīng)網(wǎng)絡(luò)（GNN）來創(chuàng)建一個自回歸模型。

GraphCast的三階段模擬過程如下：

1. 使用從網(wǎng)格點到多網(wǎng)格的有向邊的GNN，將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)映射到多網(wǎng)格上的學習特征中；

2. 一個深度GNN被用來在多網(wǎng)格上進行學習的信息傳遞，其中長距離的邊允許信息在空間上有效傳播；

3. 解碼器將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并執(zhí)行任何必要的操作。

研究結(jié)果顯示，GraphCast的性能在252個變量中，有99.2%超過了現(xiàn)有最準確的機器學習天氣預報模型；在2760個變量中，有90%超過了歐洲氣象中心的高精度預報（ECMWF HRES Forecast）。

(a) 輸入的天氣狀態(tài)是在高分辨率的緯度-經(jīng)度-氣壓層網(wǎng)格上確定的。

(b) GraphCast預測天氣的下一個狀態(tài)是緯度-經(jīng)度-壓力級網(wǎng)格。

(c) 通過迭代地將GraphCast應用于每個先前的預測狀態(tài)，以產(chǎn)生一連串的狀態(tài)，將天氣表示為連續(xù)的提前量。

(d) GraphCast架構(gòu)的編碼器組件將輸入的局部區(qū)域（綠色方框）映射到多網(wǎng)格圖的節(jié)點。

(e) 處理器組件使用所學的消息傳遞來更新每個多網(wǎng)格節(jié)點。

(f) 解碼器組件將經(jīng)過處理的多網(wǎng)格特征（紫色節(jié)點）映射到網(wǎng)格表示上。

ERA5數(shù)據(jù)集

GraphCast在39年（1979年-2018年）歷史天氣數(shù)據(jù)的語料庫上進行了訓練，即ECMWF的ERA5再分析數(shù)據(jù)集。

模型以6小時的時間步長，在0.25°經(jīng)緯度分辨率下，對5個地表變量和6個大氣變量進行10天的預測，每個變量在37個垂直壓力層上，代表了特定地點和時間的天氣狀態(tài)。

如圖1a所示，研究人員將時間指數(shù)t處的天氣狀態(tài)表示為。

環(huán)繞地球的網(wǎng)格對應每個緯度、經(jīng)度和壓力級別的變量。表面和大氣變量分別由放大視圖中的黃色和藍色框表示。

我們將中對應于特定網(wǎng)格點??（總共有1,038,240個）的變量子集稱為，并將227個目標變量中的每個變量??稱為。

生成預測

GraphCast 將兩個天氣狀態(tài)作為輸入，它們分別對應當前時間t，和前一個時間t-1，并預測下一個時間步長的天氣狀態(tài)（如圖1b所示）。

為了生成T-step預測，GraphCast以自回歸方式迭代上圖的等式，將自己的預測作為輸入，來預測后面的步長（即，預測步長t+2，輸入為；預測步長 t + 3，輸入為?。

圖1b、c描述了這個過程。

架構(gòu)

GraphCast的核心架構(gòu)在「編碼-處理-解碼」配置中使用GNN，如圖1d、e、f所示。

基于GNN的學習模擬器在學習流體和其他材料的復雜物理動力學方面非常有效，因為它們的表示和計算結(jié)構(gòu)類似于有限元學習求解器。

GNN的一個關(guān)鍵優(yōu)勢是，輸入圖的結(jié)構(gòu)決定了表示的哪些部分通過學習的消息傳遞相互交互，從而允許在任何范圍內(nèi)進行任意模式的空間交互。

相比之下，卷積神經(jīng)網(wǎng)絡(luò) (CNN) 僅限于計算局部patch內(nèi)的交互（或者，在擴張卷積的情況下，有規(guī)律地跨越更長的范圍）。

而Transformer雖然也可以完成任意的遠程計算，但是在輸入非常大的情況下，它們不能很好地擴展（要知道，GraphCast的全局輸入中有超過100萬個網(wǎng)格點），因為計算中all-to-all的交互，會引起很復雜的二次記憶。

Transformer的當代延伸通常會稀疏化可能的交互，以降低復雜性，這使它們實際上類似于GNN。

通過引入GraphCast的內(nèi)部多網(wǎng)格表示，研究人員利用GNN的能力，模擬了任意稀疏的交互方式。

它在全局范圍內(nèi)具有均勻的空間分辨率，并允許在少數(shù)消息傳遞步長內(nèi)進行長距離互動。

要構(gòu)造一個多網(wǎng)格，首先要將一個常規(guī)的二十面體（12個節(jié)點和20個面）迭代6次，得到一個二十面體網(wǎng)格的層次結(jié)構(gòu)，在最高分辨率下共有40,962個節(jié)點和81,920個面。

因為粗網(wǎng)格節(jié)點是細網(wǎng)格節(jié)點的子集，研究人員能夠?qū)⒕W(wǎng)格層次結(jié)構(gòu)中的各級邊緣，疊加到最小分辨率的網(wǎng)格上。

這個過程產(chǎn)生了一個多尺度的網(wǎng)格集，粗邊在多個尺度上彌合了長距離，細邊捕捉了局部的相互作用。

圖1g顯示了每個單獨的細化網(wǎng)格，而圖1e顯示了完整的多網(wǎng)格。

使用具有從網(wǎng)格點到多網(wǎng)格的定向邊的GNN，GraphCast的編碼器（圖1d）首先將原始經(jīng)緯度網(wǎng)格的輸入數(shù)據(jù)，映射為多網(wǎng)格上的學習特征。

然后，處理器（圖1e）使用一個16層的深度GNN，在多網(wǎng)格上進行學習的信息傳遞，由于長距離的邊緣，信息可以在空間上被有效傳播。

然后，解碼器（圖1f）使用具有定向邊緣的GNN，將最終的多網(wǎng)格表示映射回經(jīng)緯度網(wǎng)格，并將該網(wǎng)格表示?????+??與輸入狀態(tài)?????+??相結(jié)合，形成輸出預測，?????+??+1 = ?????+?? + ????? +??。

訓練過程

GraphCast被訓練成在12步預測（3天）中對ERA5目標進行目標函數(shù)最小化，使用的是梯度下降法。

目標函數(shù)如下——

研究人員使用批處理并行技術(shù)，在32臺Cloud TPU v4設(shè)備上花了大約3周時間對GraphCast進行了訓練。

為了減少內(nèi)存占用，研究人員還使用了復雜的梯度檢查點策略和低精度的數(shù)值。

結(jié)果

結(jié)果顯示，GraphCast在0.25°分辨率的10天預報中，全面超越了HRES天氣預報技術(shù)。

如圖4所示，GraphCast（藍線）在10個主要地表和大氣變量上，都明顯優(yōu)于HRES（黑線）。

此外，研究人員通過區(qū)域分析表明，這些結(jié)果在整個地球上是一致的。

根據(jù)評估的結(jié)果，GraphCast在2760個變量、等級和前置時間（4個地表變量，加上5個大氣變量×13個等級，歷時10天，每天4個步長）中的90.0%表現(xiàn)優(yōu)于HRES。

研究人員表示，HRES在高層大氣級別上的表現(xiàn)往往比GraphCast好，特別是壓力級別50hPa，這并不奇怪，因為應用于50hPa或以下壓力級別的總訓練損失權(quán)重只占所有變量和級別總損失權(quán)重的0.66%。

當排除50hPa水平時，GraphCast在2240個目標中優(yōu)于HRES的百分比為96.6%；當排除50和100hPa水平時，1720個目標中的百分比為99.2%。

第1行顯示ERA5，第2行顯示HRES，第3行顯示GraphCast，第4行和第5行分別是HRES和HRES-fc0、GraphCast和ERA5之間的誤差絕對值圖。底部的圖顯示了HRES和GraphCast的RMSE水平。

msl的真實和預測的天氣狀態(tài)

自回歸訓練對預測的影響

當用較少的自回歸步長訓練時，模型在較短的前置時間內(nèi)表現(xiàn)較好，而在較長的前置時間內(nèi)表現(xiàn)較差。

隨著自回歸步數(shù)的增加，在較短的前置時間內(nèi)性能變差，但在較長的前置時間內(nèi)性能變好。

GraphCast與頂級ML預測模型的性能比較

目前，基于ViT的Pangu-Weather代表了基于ML的天氣預報的最新水平，其計算模式與GNN相似。

GraphCast與Pangu-Weather的對比結(jié)果如圖8所示。第1行和第3行顯示GraphCast（藍線）、Pangu-Weather（紅線）、HRES對HRES-fc0的評價（黑線）和HRES對ERA5的評價的絕對RMSE；第2行和第4行顯示各模型之間相對于Pangu-Weather的歸一化RMSE差分。

總結(jié)一下

GraphCast模型在10天的預報中，在6小時步長和0.25°經(jīng)緯度分辨率下，超過了目前最精確的確定性系統(tǒng)——ECMWF的HRES。

針對2760個變量、壓力等級和前置時間的組合進行評估的結(jié)果顯示，GraphCast模型在90.0%的指標上比HRES的RMSE低。

當排除了100hPa及以上的高層大氣場時，GraphCast在1760個目標中的99.2%表現(xiàn)優(yōu)于HRES。

此外，在252個目標中，GraphCast有99.2%超過了之前最好的ML基線——Pangu-Weather。

GraphCast的一個關(guān)鍵創(chuàng)新是其新穎的「多網(wǎng)格」表征方法，這使得它能夠捕捉到比傳統(tǒng)的NWP方法更長的空間互動，從而支持更粗的原始時間步長。

這就是為什么GraphCast可以在一個Cloud TPU v4設(shè)備上以6小時為單位在60秒內(nèi)生成準確的10天天氣預報的部分原因。