眾所周知，傳統天氣預報的可靠性，多少都有些一言難盡。

最近，DeepMind和谷歌新研究出了一種基于機器學習的天氣模擬器，可以在60秒內預測10天內的天氣，而且準確率極高！

論文地址：https://arxiv.org/abs/2212.12794

1. GraphCast是一種基于圖神經網絡的自回歸模型，性能優于世界上最準確的機器學習天氣預報系統（中期天氣預報）；

2. GraphCast只需單臺Cloud TPU v4設備，即可在60秒內生成10天內的天氣預報（35GB數據），分辨率高達0.25°；

3. 通過在更大、更新、質量更高的數據上進行訓練，可以進一步提升GraphCast預測的速度和準確性。

而在短期天氣預報方面，DeepMind曾于2021年9月在Nature上發文稱，其生成模型能以89%的絕對優勢吊打其他方法。

中期天氣預報為什么那么難

「中期天氣預報」通常是指對未來于4至10天內天氣變化趨勢的預報。其準確性，對于農業、建筑業、旅游業等行業的政策制定來說至關重要。

為此，國際領先的歐洲中期天氣預報中心（ECMWF）， 每天都會提供多達四次的中期天氣預報。

在中期天氣預報的制作過程中，有兩個關鍵的組成部分都需要利用大規模高性能計算（HPC）集群進行模擬：

• 通過分析由氣象站、船舶等收集的當前和歷史數據來預測天氣狀況，也就是「數據同化」；
• 通過數值天氣預報（NWP）系統建立預測天氣相關變量將如何隨時間變化的模型。

然而，隨著數據量的顯著增加，NWP模型卻無法得到有效的擴展。

也就是說，雖然現在有大量的天氣和氣候觀測檔案，但我們卻很難直接利用這些數據來提高預報模型的質量。

而改進NWP的方法，一般是由訓練有素的專家手動創造更好的模型、算法和近似值，這個過程耗時耗力，成本高昂。

相比之下，基于機器學習方法可以利用更多、更高質量的可用數據來提高模型的準確性，而且計算預算通常要低得多。

GraphCast

在論文「GraphCast：中期全球天氣準確預報學習」中，DeepMind以「編碼-處理-解碼」的方式使用圖神經網絡（GNN）來創建一個自回歸模型。

GraphCast的三階段模擬過程如下：

1. 使用從網格點到多網格的有向邊的GNN，將原始經緯度網格的輸入數據映射到多網格上的學習特征中；

2. 一個深度GNN被用來在多網格上進行學習的信息傳遞，其中長距離的邊允許信息在空間上有效傳播；

3. 解碼器將最終的多網格表示映射回經緯度網格，并執行任何必要的操作。

研究結果顯示，GraphCast的性能在252個變量中，有99.2%超過了現有最準確的機器學習天氣預報模型；在2760個變量中，有90%超過了歐洲氣象中心的高精度預報（ECMWF HRES Forecast）。

(a) 輸入的天氣狀態是在高分辨率的緯度-經度-氣壓層網格上確定的。

(b) GraphCast預測天氣的下一個狀態是緯度-經度-壓力級網格。

(c) 通過迭代地將GraphCast應用于每個先前的預測狀態，以產生一連串的狀態，將天氣表示為連續的提前量。

(d) GraphCast架構的編碼器組件將輸入的局部區域（綠色方框）映射到多網格圖的節點。

(e) 處理器組件使用所學的消息傳遞來更新每個多網格節點。

(f) 解碼器組件將經過處理的多網格特征（紫色節點）映射到網格表示上。

ERA5數據集

GraphCast在39年（1979年-2018年）歷史天氣數據的語料庫上進行了訓練，即ECMWF的ERA5再分析數據集。

模型以6小時的時間步長，在0.25°經緯度分辨率下，對5個地表變量和6個大氣變量進行10天的預測，每個變量在37個垂直壓力層上，代表了特定地點和時間的天氣狀態。

如圖1a所示，研究人員將時間指數t處的天氣狀態表示為。

環繞地球的網格對應每個緯度、經度和壓力級別的變量。表面和大氣變量分別由放大視圖中的黃色和藍色框表示。

我們將中對應于特定網格點??（總共有1,038,240個）的變量子集稱為，并將227個目標變量中的每個變量??稱為。

生成預測

GraphCast 將兩個天氣狀態作為輸入，它們分別對應當前時間t，和前一個時間t-1，并預測下一個時間步長的天氣狀態（如圖1b所示）。

為了生成T-step預測，GraphCast以自回歸方式迭代上圖的等式，將自己的預測作為輸入，來預測后面的步長（即，預測步長t+2，輸入為；預測步長 t + 3，輸入為?。

圖1b、c描述了這個過程。

架構

GraphCast的核心架構在「編碼-處理-解碼」配置中使用GNN，如圖1d、e、f所示。

基于GNN的學習模擬器在學習流體和其他材料的復雜物理動力學方面非常有效，因為它們的表示和計算結構類似于有限元學習求解器。

GNN的一個關鍵優勢是，輸入圖的結構決定了表示的哪些部分通過學習的消息傳遞相互交互，從而允許在任何范圍內進行任意模式的空間交互。

相比之下，卷積神經網絡 (CNN) 僅限于計算局部patch內的交互（或者，在擴張卷積的情況下，有規律地跨越更長的范圍）。

而Transformer雖然也可以完成任意的遠程計算，但是在輸入非常大的情況下，它們不能很好地擴展（要知道，GraphCast的全局輸入中有超過100萬個網格點），因為計算中all-to-all的交互，會引起很復雜的二次記憶。

Transformer的當代延伸通常會稀疏化可能的交互，以降低復雜性，這使它們實際上類似于GNN。

通過引入GraphCast的內部多網格表示，研究人員利用GNN的能力，模擬了任意稀疏的交互方式。

它在全局范圍內具有均勻的空間分辨率，并允許在少數消息傳遞步長內進行長距離互動。

要構造一個多網格，首先要將一個常規的二十面體（12個節點和20個面）迭代6次，得到一個二十面體網格的層次結構，在最高分辨率下共有40,962個節點和81,920個面。

因為粗網格節點是細網格節點的子集，研究人員能夠將網格層次結構中的各級邊緣，疊加到最小分辨率的網格上。

這個過程產生了一個多尺度的網格集，粗邊在多個尺度上彌合了長距離，細邊捕捉了局部的相互作用。

圖1g顯示了每個單獨的細化網格，而圖1e顯示了完整的多網格。

使用具有從網格點到多網格的定向邊的GNN，GraphCast的編碼器（圖1d）首先將原始經緯度網格的輸入數據，映射為多網格上的學習特征。

然后，處理器（圖1e）使用一個16層的深度GNN，在多網格上進行學習的信息傳遞，由于長距離的邊緣，信息可以在空間上被有效傳播。

然后，解碼器（圖1f）使用具有定向邊緣的GNN，將最終的多網格表示映射回經緯度網格，并將該網格表示?????+??與輸入狀態?????+??相結合，形成輸出預測，?????+??+1 = ?????+?? + ????? +??。

訓練過程

GraphCast被訓練成在12步預測（3天）中對ERA5目標進行目標函數最小化，使用的是梯度下降法。

目標函數如下——

研究人員使用批處理并行技術，在32臺Cloud TPU v4設備上花了大約3周時間對GraphCast進行了訓練。

為了減少內存占用，研究人員還使用了復雜的梯度檢查點策略和低精度的數值。

結果

結果顯示，GraphCast在0.25°分辨率的10天預報中，全面超越了HRES天氣預報技術。

如圖4所示，GraphCast（藍線）在10個主要地表和大氣變量上，都明顯優于HRES（黑線）。

此外，研究人員通過區域分析表明，這些結果在整個地球上是一致的。

根據評估的結果，GraphCast在2760個變量、等級和前置時間（4個地表變量，加上5個大氣變量×13個等級，歷時10天，每天4個步長）中的90.0%表現優于HRES。

研究人員表示，HRES在高層大氣級別上的表現往往比GraphCast好，特別是壓力級別50hPa，這并不奇怪，因為應用于50hPa或以下壓力級別的總訓練損失權重只占所有變量和級別總損失權重的0.66%。

當排除50hPa水平時，GraphCast在2240個目標中優于HRES的百分比為96.6%；當排除50和100hPa水平時，1720個目標中的百分比為99.2%。

第1行顯示ERA5，第2行顯示HRES，第3行顯示GraphCast，第4行和第5行分別是HRES和HRES-fc0、GraphCast和ERA5之間的誤差絕對值圖。底部的圖顯示了HRES和GraphCast的RMSE水平。

msl的真實和預測的天氣狀態

自回歸訓練對預測的影響

當用較少的自回歸步長訓練時，模型在較短的前置時間內表現較好，而在較長的前置時間內表現較差。

隨著自回歸步數的增加，在較短的前置時間內性能變差，但在較長的前置時間內性能變好。

GraphCast與頂級ML預測模型的性能比較

目前，基于ViT的Pangu-Weather代表了基于ML的天氣預報的最新水平，其計算模式與GNN相似。

GraphCast與Pangu-Weather的對比結果如圖8所示。第1行和第3行顯示GraphCast（藍線）、Pangu-Weather（紅線）、HRES對HRES-fc0的評價（黑線）和HRES對ERA5的評價的絕對RMSE；第2行和第4行顯示各模型之間相對于Pangu-Weather的歸一化RMSE差分。

總結一下

GraphCast模型在10天的預報中，在6小時步長和0.25°經緯度分辨率下，超過了目前最精確的確定性系統——ECMWF的HRES。

針對2760個變量、壓力等級和前置時間的組合進行評估的結果顯示，GraphCast模型在90.0%的指標上比HRES的RMSE低。

當排除了100hPa及以上的高層大氣場時，GraphCast在1760個目標中的99.2%表現優于HRES。

此外，在252個目標中，GraphCast有99.2%超過了之前最好的ML基線——Pangu-Weather。

GraphCast的一個關鍵創新是其新穎的「多網格」表征方法，這使得它能夠捕捉到比傳統的NWP方法更長的空間互動，從而支持更粗的原始時間步長。

這就是為什么GraphCast可以在一個Cloud TPU v4設備上以6小時為單位在60秒內生成準確的10天天氣預報的部分原因。