[[430969]]

本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

在超級計算機排名這場國際競爭上，今年明年到了關鍵節點。

各國摩拳擦掌準備多年的“E級超算”（每秒超過一百億億次浮點運算），都將集中在2021-2022年計劃完成部署。

你可能還記得“神威·太湖之光”這個名字，我國這臺超算在2016年登上國際排名第一。

僅僅兩年后，美國的頂點（Summit）超算就迎頭趕上，用每秒20億億次浮點運算的峰值速度超過神威的每秒12.5億億次。

再過兩年，日本的富岳（Fugaku）以每秒50億億次（0.5E）的峰值速度再創紀錄。

雖然富岳現在依然盤踞榜首，但被某臺E級機超越也不會很遠。

（E級機中的E指Exa，是比P（Peta）大一級的單位。）

美國正在準備中的E級超算至少有3臺，美國能源部為此投入超過18億美元。

計劃今年就要部署的Frontier，峰值速度預計1.5E；2022年Aurora隨后跟上，目標速度1E；2023年還有一臺El Capitan，最初計劃1.5E但建設過程中增加到了2E。

這還只是美國政府部門主導的項目，如果算上企業，特斯拉在建的Dojo超算目標速度也是1E。

我國正在進行的E級超算項目也有3個。

天河三號、神威E級和曙光E級的原型機都在2018-2019年研制成功，現在正緊鑼密鼓地建設完全體。

此外，日本、俄羅斯也都啟動了各自的E級機計劃，歐盟在新建和改造超算上也投入了80億歐元。

誰能率先擁有E級機成為大國超算競賽的下一個關鍵點，國際超算排行榜“TOP500”每年6月和11月公布兩次，誰會贏下這一盤也許很快就會揭曉。

究竟是什么讓各國在算力比拼上不斷加碼？

當超算遇上數據

要回答這個問題，需要從兩方面來看。

一方面是尖端科技發展的需要。

超級計算機之所以叫“超級”，是因為強大的算力能把不可能變為可能，把不實用變為實用。

如果你感覺現在天氣預報比小時候要準多了，就得益于算力的提升。

過去由于算力不夠只能對天氣現象做出模糊的定位，那時候經常聽到電視里的說法是“局部地區有雨”，到現在手機上都能隨時查看精準的未來兩小時降雨云圖。

算力的發展把天氣預報準確率從過去的21.8%提高到了現在的90%，日常情況下天氣預報不準似乎無關緊要，但近年來極端天氣現象頻發，準確預測臺風暴雨可是能拯救許多生命。

同樣與拯救生命相關的還有生物醫藥領域，算力這些年的發展把基因測序的時長從13年縮短到1天，新藥研發鑒定的周期從5000天縮短到了100天。

眼下為了讓疫苗研發速度贏過病毒的變異速度，各國也紛紛動用了超算的力量。

此外，在天體物理、地震預測、石油勘探、國防軍事、新材料發現等領域也都需要強大的算力支持。

另一方面，新聞中總能聽到的“產業數字化轉型”，其實就是說算力已經深入到經濟運行和人們生活的方方面面。

今年寶馬與英偉達合作，把整個生產流程在數字世界中重建，通過仿真模擬進行優化，把生產效率提高了30%。

這項技術叫“數字孿生”，也就是把現實世界產生的歷史運行數據、傳感器收集數據、統計數據等統統搬到數字世界里去，盡可能還原一個現實世界的副本。

據權威市場研究公司IDC預測，到2022年75%的企業將把智能自動化嵌入到技術和流程開發中。2024年，AI將成為所有企業不可或缺的組成部分。

從現實世界鏡像到數字世界的數據將會爆發式增長，甚至可以說未來智能產業的運轉速率取決于數據分析的速率。

隨產業數字化帶來的，是數據構成上的變化。根據IDC預測，到2025年80%的數據將是非結構化數據。

非結構化數據很好理解，像分散在互聯網上的文章、文檔、圖片、音頻視頻等，只要不是用行和列組成的二維表結構表達的都算非結構化數據。

中科院院士陳國良認為，如果說數據是數字世界的新石油，那么非結構化數據更難處理，就像石油中最難開采的頁巖油。

處理龐雜的非結構化數據就需要新技術，這種新技術叫做面向海量數據的高性能數據分析(HPDA，High Perfermance Data Analytics）。

簡單來說，實現HPDA需要把超算、AI算法、大數據三者結合起來。

這樣的超算也可以稱為數據密集型超算，也就是用超算的并行處理能力運行強大的AI算法，從海量數據中提取出價值。

根據全球高性能計算市場研究機構Hyperion Research預測，未來數據密集型超算市場份額會數倍于傳統超算的增長速率。

到2024年，高性能計算市場更是將有超過40%來自數據密集型超算。

這也讓人不免期待，未來我們會在哪些場景中看到數據密集型超算的身影呢？

數據密集型超算用在哪？

這個問題其實應該反過來看，正是應用場景對算力需求的變化驅動著超算朝數據密集化方向發展。

一臺超算從規劃到建設再到投入使用需要好幾年，所以最初就要面向未來可能的應用來設計。

比如生物醫藥領域，今年發生的一件大事是DeepMind開源了全新的蛋白質結構預測模型AlphaFold2，并把人類98.5%的蛋白質結構全都被預測了一遍。

而在這之前科學家們數十年的努力，只覆蓋了人類蛋白質序列中17%的氨基酸殘基。

在基因測序上，最早的人類基因組計劃耗資30億美元歷時13年終于在2003年完成。

到如今面向個人消費者的全基因組測序服務只需要幾小時，價格也降至100美元。

這讓2007年僅為800萬美元的全球基因測序市場規模，有望在2021年達到350億美元。

這兩個方向上的進展為加速新藥研發提供了基礎，再往后發展就需要將蛋白質結構數據、基因圖譜數據結合上AI分析的文獻、臨床檔案等非結構化數據進行化合物篩選、發掘藥物靶點。

正需要高精度科學計算算力和精度需求不高但數據量龐大的AI推理、訓練的算力相結合，才能真正做到縮短新藥研發周期，降低藥物研發成本。

再比如腦科學領域，對神經系統的研究除了醫學上的作用，也是對大腦認知原理的探索，對類腦人工智能技術和相關器件的研發也有啟示意義。

腦科學研究對傳統超算系統提出的最直接挑戰就是數據規模龐大。

人腦大約有1000億個神經元，把神經元之間的映射全存成數據，需要的容量要達到EB級（一EB等于一百萬TB）。

在這么大規模數據上做檢索響應時間高達100小時，如果腦科學想取得突破性進展，也需要未來超算在數據存儲架構上完成突破。

同樣需要處理EB級數據的是時下火熱的自動駕駛行業。

根據美國蘭德公司的研究，自動駕駛算法想要達到人類司機水平至少需要累計177億公里的駕駛數據來完善算法。

如果配置一支100輛自動駕駛測試車的車隊，每天24小時不停歇路測，平均時速40公里來計算,需要500多年的時間才能完成目標里程。

先不提達到人類水平這么遠的事，按照現在最受認可的SAE自動駕駛分級標準，達到L3級別也要2000萬公里路測歷程，對應的數據體量達到1-2EB。

自動駕駛行業還有一個難點是不同環節要求的數據協議不同。

數據導入時需要的是S3/NFS格式，數據預處理需要HDFS格式，AI訓練又需要NFS格式，后面還有仿真、模型驗證….

結果是，數據轉換格式和來回拷貝的時間比處理分析時間還多一倍，這要求未來的數據密集型超算還要解決數據協議互通的問題。‘

從微觀的分子化合物、神經細胞到中觀的車輛、道路，再把視角拉大，研究宏觀的地球、宇宙同樣需要數據密集型超算。

能源勘探、氣象預測、衛星遙感、天文觀測的數據儲存規模也在幾十到幾百PB，根據各自的特點還分別對超算的傳輸速度、是否需要AI接口、數據管理等問題提出不同的要求。

數據密集型超算該怎么建才能適應盡可能多的應用場景要求，就成了關鍵問題。

數據密集型超算該怎么建？

誠然，超算在基因測序、自動駕駛、腦科學等場景上已展現出巨大潛力。

各個大國都想搶先于人去挖掘這塊新土壤，由此也就產生了當下超算競爭日趨白熱化的局面。

面對這樣的形勢，我們如何做才能搶占先機呢?

由中國計算機學會高性能計算專業委員會、國內各高校和超算中心、華為聯合編寫的《數據密集型超算技術白皮書》已經給出了一些切實可行的建議。

《白皮書》認為，想要打贏這場算力上的“軍備賽”，眼下我們應當從超算架構、網絡傳輸、能耗等方面入手。

采用異構融合的新型 HPDA 架構

首先，超算要考慮的核心問題還是算力的來源，這就要從處理器芯片說起。

如今的超算中心是把CPU、GPU、FPGA等硬件結合，讓不同的計算單元來負責不同的計算任務，從而提高計算速度和處理能力。

但隨之而來也會產生一個問題，就是資源、數據、應用上的孤島現象，導致資源重復建設、閑置，造成能耗居高不下的問題。

所以，未來的超算中心，要把原來“散兵作戰”的計算單元，再“大一統”起來。

讓它們在發揮各自強項、快速完成任務的同時，還能聽從調遣，最大化利用計算資源，并盡可能完成更多不同的任務。

這也就是《白皮書》中提到的——異構融合架構。

具體來看，就是要做到三個層面的統一：硬件上統一資源管理、統一數據存儲；軟件上統一資源調度。

打造存算分離的統一數據存儲底座

數據密集型超算以數據為中心，所以在計算單元之外，存儲系統對超算運轉速度也有巨大影響。

HPDA把HPC、大數據、AI融合，使得它的計算方式會和傳統超算有所不同。

以發現新材料來舉例，傳統超算通過HPC仿真計算來發現新材料，HPDA則會用機器學習來實現，涉及AI模型的訓練和推理。

這二者之間最大的差別就是，AI運算非常依賴數據。

具體工作過程中，大量計算時間都會消耗在等待數據從存儲系統中讀出或寫入上。

如果沿用傳統超算的存儲系統，許多昂貴的計算節點都會處于空閑狀態，造成資源利用不足的問題。

所以就要重新規劃存儲系統和計算系統。

《白皮書》對此提出了存算分離的概念。

也就是讓所有計算節點都共享一個存儲，并且讓不同數據（文檔、表格、圖片等）之間可以互通、互訪。

這樣一來，超算執行不同任務時，計算節點從這個大的存儲底座中找到需要的數據即可。

在此基礎上，還要讓數據可以按照需求自由流動，讓熱數據、溫數據、冷數據能夠智能分級。

也就是將高價值的文件放置在高可用性、高性能的存儲設備上，低價值的文件放置在成本較低的、性能和可用性規格較低的設備上。

當然，還要達到合理的存算比。

一直以來我國超算中心建設都存在重算力、輕存儲的問題。

在我國，存力（存儲容量PB）與算力（計算算力PFLOSPS）的比例為1:2，相應的投資比例為1:3。這兩個數據，美國已經達到1:1。

如果按照現在的超算中心建設模式推行，幾年后我們勢必會出現存儲量短缺的危機。所以接下來，我們還有重視存力上的規劃。

推進全光化多網融合高速互聯網絡構建

隨著處理數據越來越多、種類更為豐富，傳輸上的高帶寬、高IOPS和低時延需要得到很好保障。

同時也要注意全周期的數據安全。

事實上，超算中心能夠快速計算、推理，也離不開設備之間的高速互連。

想要達到更好的效果，需要從元件材料和傳輸技術兩個方面入手。

材料上，光子集成產品在尺寸、功耗、成本、可靠性方面優勢明顯，是未來光器件主流發展方向。

所以我們要大力推進“光進銅退”，用光子技術來構建高速互連的網絡。

技術上，要讓超算中心中的多網絡進行融合。

超算中心中，往往有計算網絡、數據網絡、存儲網絡、監控網絡等多套網絡，在構建、運維、功耗上都會有很高的成本。

因此，如何讓它們之間融合、降低成本，是未來數據密集型超算中心需要思考的問題。

使用低碳高效綠色節能的工程工藝

最后，我們還要考慮超算中心運行過程中的具體問題。

比如能耗。

隨著芯片、系統、光器件等組成在性能上的不斷提升，超算對能耗的需求在日益增大。

比如在系統層面，當前100P系統的能耗大約在20MW左右，單機柜能耗達到100KW，系統能效比大約為數十GFlops/W。

如果在節能上始終沒有革命性的新技術出現，未來E級以上系統的這些指標都將變得難以承受。

對此，《白皮書》提出要降低電源使用效率、提升設備能源利用效率。

一方面是降低中心PUE。

PUE值(Power Usage Effectiveness，電源使用效率)是國際上比較通行的數據中心電力使用效率的衡量指標。

PUE值越接近于1，表示一個數據中心的綠色化程度越高。

我國國家超級計算無錫中心在建設之初的PUE值為1.3左右，如今年平均PUE值降至1.22。

兩年時間減少約700萬度耗電量，節約了400多萬元電費。

另一方面是要提升IT設備的能源利用效率。

比如使用SSD閃存盤。

最常用的高性能SAS機械硬盤組成的存儲系統典型功耗約10.6W/TB。

而SSD閃存盤組成的存儲系統典型功耗僅約5.3W/TB，可降低約50%能耗。

因此，數據密集型超算中心要求全閃存存儲占比50%，來極大促進超算中心的綠色發展。

構筑易用的國產應用平臺支撐環境生態

如此高端的設備、先進的系統、強大的算力，你或許會覺得超算離我們遙不可及。

但事實上，超算的本質還是要解決更多難題，不僅是科研方面，還有普通生活領域的。

在過去5-6年中，高性能計算和AI在各種企業中的應用已經不再稀奇了。

這要歸功于軟件容器化技術。

只要容器化技術提前將超算運行環境封裝好，實現應用和底層硬件的解耦，即便是不懂專業計算機的普通企業用戶也能使用HPC。

而放眼未來，在構建良好超算生態上，我們還要讓更多人能夠參與到開發中來。

要針對行業內普遍存在的問題大力開發，為用戶提供簡單、易懂的可視化操作界面。

同時要解決新架構帶來的開發難的問題。異構編程架構應該基于現有的經典并發模型，針對程序并行和數據并行，為用戶提供方便快捷的工具。

此外，還要搭建智能化管理運維平臺，用AI等技術讓IT設施變得越來越智能。

以上就是《白皮書》中對數據密集型超算技術的建設標準提出的幾點建議。

《白皮書》的最后一部分還對我國數據密集型超算的未來發展做了展望。

我國應盡快制定明確的發展目標和規劃、出臺相關指導意見，盡快制定數據密集型超算測評標準，并大力推進產學研合作。

如今我國超算發展正式邁入爆發期，在今年世界500強超級計算機名單中，中國超算中心部署量居世界第一。

在數據密集型成為重點趨勢、超算產業迎來新一輪爆發的今天，中國超算已經走出一條屬于自己的道路了嗎？

獲取白皮書：

https://e.huawei.com/cn/material/storage/1f2563c5282d44b3a8d26a97d14be65e