在圍棋和《星海爭霸》等遊戲領域贏到膩了之後,DeepMind即將挑戰一個全新的項目—預測天氣。
在過去的幾年裡,DeepMind一直在悄悄地與英國氣象局合作,而最近一篇發表於《自然》雜誌上的論文則展示了這一項成果。簡而言之,DeepMind設計了一個全新的機器學習模型,可以預測未來幾小時內是否會下雨。
結果顯示,DeepMind的深度產生模型可以提供更好的預測品質、預測一致性和預測價值。模組在1,536公里×1,280公里的區域內產生了逼真且時空一致的預測,提前期為5-90分鐘。
透過50多位氣象專家的系統評估,與其他兩種競爭方法相比,DeepMind的產生模型以89%的絕對優勢在準確性和實用性兩方面均排名第一。
即時的天氣預測
目前的天氣預測是由強大的數值天氣預報(NWP)系統驅動的透過解決物理方程式,數值天氣預報系統可以提前數天得到地球規模大小的預測。然而,它們卻很難在兩小時內產生高解析度的預測。
即時預報填補了這一關鍵時間區間的性能空白。氣象傳感的進步使高解析度雷達可以高頻地(在1公里解析度下每5分鐘)提供測量出的地面降水量數據。
目前已有的短期預測方法,如STEPS和PySTEPS,是沿用NWP的方法來解決不確定性,以及按照帶有雷達訊息的平流方程來對降水進行建模。
在這些模型中,場地由光流來估計,平滑度懲罰被用來近似於平流預報,隨機擾動被添加到場地和強度模型中。這些隨機模擬可以得出機率性和確定性的預報,並且在多種空間尺度(從公里尺度到集水區的大小)上都適用。
基於深度學習的方法則不需要對平流方程的依賴。透過大量的雷達觀測數據訓練這些模型,可以更好地模擬非線性降水現象,如對流啟動和強降水。這類方法直接預測每個網格位置的降水率,模型已被開發用於確定性和機率性預報。
目前的深度學習系統所發布的預報,在降水場越來越模糊的情況下表現出了不確定性,而且不包括小尺度天氣模式。此外,現有方法側重於特定地點的預測,而不是對整個降水場的機率預測,這使其無法在多個空間和時間集合中同時提供一致的預測結果,限制了實用性。
為此,DeepMind使用深度產生模型(DGMR)為機率預報開發了一種觀測驅動的方法。DGMR是學習數據機率分布的統計模型,可以從學習到的分布中輕鬆產生樣本。由於產生模型從根本上是機率性的,可以從給定的歷史雷達的條件分布中模擬許多樣本,產生預測集合。此外,DGMR既能從觀測數據中學習,又能表示多個空間和時間尺度上的不確定性。
即時預報的產生模型
DeepMind使用產生模型的方法,根據過去的雷達,對未來的雷達進行詳細和可信的預測。有了這樣的方法,既可以準確地捕捉大規模的事件,同時也可以產生許多備選的降雨情景(稱為集合預測),使降雨的不確定性得到探索。
DeepMind的模型也十分擅長中到大雨事件的預測,與其他競爭方法相比有著明顯的改進。DeepMind表示,在經過英國國家氣象局(Met Office)的50多名專家氣象學家進行了認知任務評估之後,與廣泛使用的預測方法相比,在89%的情況下專家們會把DeepMind的方法評為首選。
產生法(DGMR)比平流法(PySTEPS)更好地捕捉了環流、強度和結構,更準確地預測了東北地區的降雨和運動。與確定性的深度學習方法(UNet)不同,DGMR還產生了尖銳的預測。
產生法(DGMR)與平流法(PySTEPS)相比,平衡了降水的強度和範圍,平流法的強度往往太高,而且不像確定性的深度學習方法(UNet)那樣模糊不清。
在固定的時間點T,使用基於雷達的地表降水估計值XT,在固定的M個過去的雷達場,預測N個未來的雷達場,潛在的隨機向量Z和參數θ,方程為:
對潛在變量的整合確保了模型做出的預測在空間上具有依賴性。學習是在用於降水預測的條件產生對抗網路(GAN)的算法框架內進行的。四個連續的雷達觀測數據(之前的20分鐘)被用作發生器的背景,對未來降水的多個實現進行採樣,每個實現為18格(90分鐘)。
DGMR能更好地預測較長時段的空間覆蓋和對流,同時不會高估強度。a. 模型結構示意圖;b. 預測的地理背景;c. 不同模型在T+30、T+60和T+90分鐘提前量的單一預測。
學習由兩個損失函數和一個正則化項驅動,透過比較真實的雷達觀測數據和模型產生的數據來指導參數調整。
第一個損失是由空間判別器定義的,它是一個卷積神經網路,用於區分單個觀察到的雷達場和產生的雷達場,確保空間一致性並阻止模糊的預測。第二個損失是由時間判別器定義的,它是一個三維(3D)卷積神經網路,用於區分觀察到的和產生的雷達序列,施加時間上的一致性並懲罰跳躍的預測。為了提高準確性,DeepMind引入了一個正則法項,從而懲罰真實雷達序列和模型預測平均值(用多個樣本計算)之間的網格單元解析度的偏差。
最後,DeepMind為產生器引入了一個潛在模組,允許對大於訓練大小的降水場進行預測,同時保持時空一致性。
DeepMind在2016至2018年間英國雷達記錄的降水事件的大型數據集上訓練其DGM。訓練完成後,它可以在一秒鐘內提供預報,並在單個NVIDIA V100 GPU上運行。
與其他流行的預報方法(包括機器學習模型)相比,DeepMind的DGM在長達1,536公里乘1,280公里的區域產生了更真實和一致的預測,提前期為5至90分鐘。
結果評估
在使用CSI進行比較時,所有三個深度學習系統產生的預測都比PySTEPS的基線明顯更準確。使用交替的星期作為獨立單位的配對置換測試來評估統計學意義,發現DGMR與PySTEPS相比,在所有的降水閾值上都具有更好的效果(n=26,P
a. 20個樣本的CSI,降水閾值為1毫米/小時(左)、4毫米/小時(中)和8毫米/小時(右);b. 所有模式在T + 30分鐘(左)和T + 90分鐘(中和右)的2019年預測的徑向平均功率譜密度。
從上圖中的b可以看到,DGMR和PySTEPS的光譜特徵都與觀測結果相吻合,但軸向注意力和UNet模式產生的預報具有中、小尺度的降水變化,並隨著提前期的增加而減少。
由於它們產生了模糊的預測,軸向注意力和UNet nowcasts的有效解析度遠遠低於數據的1公里×1公里解析度。在T+90分鐘時,UNet的有效解析度為32公里,軸向注意力的有效解析度為16公里,降低了這些預報對氣象學家的價值。
對於機率驗證來說,下圖中b顯示了平均和最大降水率聚集在越來越大的區域的CRPS。當解析度測量時,DGMR、PySTEPS和軸向注意力的表現相似。
隨著空間聚集的增加,DGMR和PySTEPS提供了持續的強大性能,其中DGMR在最大降水上表現更好。軸向注意力模型對於較大的聚集區來說明顯較差,在規模為4以上的情況下,其性能低於所有其他方法。使用交替的星期作為獨立單位,成對的置換檢驗表明,DGMR和軸向注意力溫度選擇之間的性能差異是顯著的。
網格解析度(左)、4公里集合(中)和16公里集合(右)的CRPS得分:a. 使用平均雨量的集合CRPS;b. 使用最大雨量的集合CRPS。
與其他方法相比,此產生方法優於在CSI上現有的STEPS預測方法,提供的機率預測更加準確,並且在空間和時間尺度上保留了降水的統計特性,而其他深度學習方法是以它們為代價的。
此外,DeepMind還在經濟和認知方面進行了分析,結果表明DGMR可以讓決策價值得到提高。
虛線表示Clopper-Pearson的95%置信區間。氣象學家明顯傾向於DGMR而不是其他方法。
學界似乎並不買帳
然而,除了這50位專家以外,其他科學家並沒有被這些結果說服。
雷丁大學的氣象學家Peter Clark說:「我沒有看到預測方面的任何革命。依靠主觀評價來證明模型的有效性只能使讓人感到困惑。」此外,他還表示:「我仍然驚訝於他們沒有選擇使用一個客觀的分數。關於如何進行評估,甚至是實際評估的內容,幾乎沒有詳細說明。」
在論文中,DeepMind也並沒有給出新模型與現有模型的準確性相比具體提升的數據。對此,DeepMind的高級科學家和論文作者Shakir Mohamed表示,「我們想採取更加謹慎的方法,而不是報告一個數字。」
同樣是來自雷丁大學的氣象學家Rob Thompson則說:「與其說DeepMind的研究完全顛覆了我們所知道的雨水預報,不如說它只是提供了一種不同的方法。它的表現與當前其他尖端類型的模型類似,可能稍微好一點,但並沒有領先很多,」
DeepMind的成員說,目前還沒有任何立即投入使用的計劃,但團隊希望最終能夠利用模型為今後的天氣報告提供真實的訊息。
話說回來,天氣預報員會不會就此消失?
這倒不用擔心,DeepMind的研究科學家,同時也是論文的作者Suman Ravuri表示,人工智慧不會在這個領域取代人類:「天氣預測需要專家和人類參與其中,以確保在預測方面的理解是合理的,然後將其傳達給公眾。」
加入電腦王Facebook粉絲團