鯤鵬DevKit助力南京信息工程大學高效開發
全球變暖背景下,干旱、高溫、暴雨等極端天氣帶來的自然災害頻發,如2022年夏季我國南方地區歷史性高溫干旱事件,23個省份持續出現40℃以上高溫,據麥肯錫預測,預計到 2050 年,由于極端高溫和濕度增加而帶來的勞動力損失,將使亞太地區每年損失4.7萬億美元的GDP,約占全球損失總額的三分之二。因此如何更精確地提前預測氣候并采取及時有效的防范措施,是減少此類自然災害的關鍵手段。
氣象災害教育部重點實驗室作為南京信息工程大學的重點實驗室之一,其團隊自主研發的極端高溫干旱天氣模擬與預測平臺,采用自主創新開源操作系統及自主創新的組件部署,配合網頁端展示平臺可實時展示多種氣象要素。同時也可用于區域氣候、空氣質量模擬等大氣數值模擬實驗等,可實現對過往極端天氣事件的高精度模擬以及未來可能出現的極端事件的預報。
氣象應用是高性能計算的重要領域,算力是影響天氣預警精確性的重要因素。為更加高效的完成氣象預測和科研工作,實驗室對于承載極端高溫干旱天氣模擬與預測平臺的底層基礎設施算力有著強烈的訴求:
海量數據高效處理
氣象預測涉及跨時間和地區的海量數據收集及處理,以長江中游地區的一次高溫災害事件的模擬為例,涉及的高精度資料約10G。隨著各類氣象觀測數據的預測精度及頻率的遞增,每年的氣象數據已達到PB量級,計算需求量大。
高精度、高性能
隨著氣象預測的準確度越來越高,氣象行業對精度及天氣短臨預報的時效性要求也越來越高:預報精度從幾百公里、幾十公里到實現“點對點”的預報,預報時效性由超前一周提升至超前半個月、一個月的精準預測……這些都對算力提出了更高的要求。
鯤鵬平臺天生的眾核高并發、高吞吐能力,能夠更好的滿足上訴需求,同時提供鯤鵬開發套件DevKit,實現應用的高效開發和性能優化。基于以上考慮,南京信息工程大學的技術團隊選擇鯤鵬作為「極端高溫干旱天氣模擬與預測平臺」的算力支撐,并在鯤鵬上原生開發部分側邊界試驗模塊。
【極端高溫干旱天氣模擬與預測平臺架構圖】
遷移:基于鯤鵬DevKit 2人天快速遷移極端高溫干旱天氣模擬與預測創新平臺
在項目實施初期,開發人員需要將極端高溫干旱天氣模擬與預測創新平臺快速遷移到鯤鵬。由于整個系統架構復雜,涉及修改代碼行數1806行,源文件數293個,手動遷移預計需要15人天才能完成。
開發人員通過鯤鵬DevKit代碼遷移工具對依賴文件自動識別、兼容JAR包一鍵下載、代碼修改建議一鍵替換,整個遷移過程縮短至2人天,大大降低了開發過程中的人力資源成本。
【使用鯤鵬DevKit代碼遷移工具掃描獲取遷移報告】
開發&調優:基于鯤鵬DevKit高效開發部分側邊界試驗模塊,性能提升57.7%
遷移完成之后,為應對極端高溫干旱災害的科學研究等場景需求,開發團隊需要在鯤鵬平臺上新開發部分側邊界試驗模塊,該模塊作為平臺的核心組件,用于研究季節內振蕩等大氣低頻變化對于極端事件的影響。
由于原有X86平臺的開發經驗和兼容生態并不能直接復制到鯤鵬平臺之上,開發人員在應用開發過程中也遇到了多重挑戰:
在開發過程中缺乏鯤鵬優勢能力的實時引導,無法充分發揮鯤鵬的算力;★ 不熟悉鯤鵬兼容生態,無法快速搭建高性能計算應用編譯環境,開發效率低;
面對上述挑戰,技術人員在開發過程中使用了鯤鵬DevKit提供的鯤鵬開發框架、高性能計算SDK、GCC for openEuler和性能分析工具,進一步提升應用開發效率及軟件運行性能。
首先,技術人員通過鯤鵬開發框架插件快速創建高性能計算場景化工程, 該工具支持啟發式編程,能夠智能提示近萬條函數和編譯選項,大大提升了開發體驗,使得開發者可以專心攻克業務邏輯設計;
同時基于鯤鵬高性能計算SDK一鍵引入Hyper MPI通信庫和鯤鵬數學加速庫,有效提升了網絡加速能力,使能了節點間高速通信網絡和節點內共享內存機制,以及優化的集合通信算法,更便捷高效地完成了部分側邊界試驗模塊的應用開發。
為了提升編譯效率,技術人員在編譯過程中將之前的GNU-GCC更換為GCC for openEuler。GCC for openEuler提供了針對鯤鵬微架構處理器及指令優化,通過軟硬協同相較GNU-GCC提供更強的性能。提升了WRF組件在鯤鵬架構上的編譯效率,增強了組件間的耦合關系,從而使組件的性能得到了很大的提升。
此外,由于試驗包括控制試驗以及敏感性試驗兩部分,計算量較一般數值模擬大幅增加,所以對性能要求極高。
因此技術人員采用鯤鵬DevKit 高性能計算場景化分析對平臺進行了深度優化:通過鯤鵬DevKit 高性能計算場景化分析創建MPI分析任務,在進行積分操作時發現存在積分響應時間長等問題,根據工具的提示,技術人員快速找到了異常函數,并對異常函數展開了深入分析和優化,通過上述一系列的分析與調優,在同等算力下,初始場處理時間由0.85s降低至0.55s;邊界場處理時間由0.10s降低至0.07s;積分一步響應時間由0.33s降低至0.19s;結果輸出的時間由2.01s降低至0.85s,最終極端高溫干旱天氣模擬與預測創新平臺在鯤鵬平臺上的運行性能整體提升了57%。
【使用鯤鵬DevKit開發工具優化前后性能對比圖】
上述性能的提升極大的增強了平臺數值天氣模擬計算能力,提升了數值氣象預報計算效率,優化了極端天氣模擬預報速度,大幅降低了計算成本;也為廣大公眾、各行各業提供更加精細化、專業化、多元化的服務,服務防災減災、鄉村振興、生態文明建設,保障生命安全、生產發展,助力經濟社會高質量發展。
南京信息工程大學作為國內氣象學科的佼佼者,在氣象數值模擬、氣象預報領域建樹豐富,本次基于鯤鵬平臺開發的「極端高溫干旱天氣模擬與預測平臺」方案也在鯤鵬應用創新大賽2022全國總決賽中獲得銅獎,江蘇賽區二等獎。
未來,南京信息工程大學也將持續致力于氣象科學的發展,逐步提升氣象預測平臺對干旱天氣預測的準確度和實時性,未來可結合各氣象部門及各大學、研究所等,孵化出更多的智慧氣象應用,進一步降低高溫干旱復合災害在世界各地對農業生產、國民經濟造成的影響。
作為鯤鵬計算產業生態重要伙伴,南京信息工程大學已與江蘇鯤鵬·昇騰生態創新中心建立長期合作關系。未來,鯤鵬將持續通過最新的技術使能伙伴聯合創新,打造更具競爭力及創新力的行業解決方案,促進千行百業數字化轉型。
南京信息工程大學作為國家“雙一流”建設高校,高度重視科技創新引領,承擔國家自然科學基金項目、國家重點研發計劃重點專項(含課題專項)百余項。“氣象災害教育部重點實驗室”作為國家級重點學科培育點之一,重點圍繞氣象災害的監測、預警及影響評估等方向開展應用基礎研究,以提高天氣氣候預報預測準確率和氣候變化影響評估水平,為國家防災減災和應對氣候變化提供科學支撐。