華為龐鑫:構建安全、綠色全閃存數據中心
從2005年到2019年間,中國數字經濟總體規模由2.6萬億元增加至35.8萬億元,數字經濟在GDP的占比也由14.2%提升至36.2%。隨著數字經濟蓬勃發展,數據也成為當之無愧的關鍵生產要素,是基礎性資源和戰略性資源。數據洪流的到來進一步驅動了數據價值鏈的成熟,進而驅動企業的決策和創新,獲取數字紅利。數據中心作為數據的載體,承擔著數據資源集中存儲、計算、交換的功能,轉型升級迫在眉睫。
4月13日,在2021華為全球分析師大會上,華為數據存儲與機器視覺營銷工程部總裁龐鑫向全行業解讀了華為對存儲產業以及全閃存數據中心的理解與洞察。
全閃存市場是剛需,但當前全球全閃存市場占比仍然很低
龐鑫表示,全閃存憑借出色的性能優勢和綠色節能已經成為市場剛需。在性能方面,從IOPS、低延時、吞吐量三個常用的存儲性能指標來看,閃存SSD在性能上遠超機械硬盤HDD。閃存具有高的IOPS,一個SSD的IOPS可達數萬次之多,而一個HDD的IOPS只能達到幾百次,這表明需要許多HDD才能達到一個SSD的性能。同時閃存還具有低延遲(常以毫秒或微秒為度量單位)性能和大吞吐量。
在耗能方面,數據中心已經成為事實上的耗電大戶。目前全球數據中心的耗電大約占據全球每年總用電量的2%-3%,電費在數據中心運營成本中占比超過50%。而在國內,全國數據中心的耗電量已連續八年以超過12%的速度增長,未來占社會總用電量的比例將持續增長。相對于HDD,在相同的容量下,SSD的電力能耗降低70%,空間占用節省50%,不僅能大幅降低數據中心的TCO總成本,并且能有效推進數據中心低碳運轉。
雖然閃存在性能及綠色節能上優勢明顯,但是當前閃存在存儲市場的占比仍然不高。數據顯示,全球存儲市場閃存占比43.7%,在中國市場這一數字僅為24.7%。加速閃存替代機械硬盤已經勢在必行。
四大變化,將全面激發全閃存數據中心潛能釋放
對于過去十年閃存存儲產業的發展,龐鑫將其總結為2010~2015年閃存1.0時代,2015~2020年閃存2.0時代,未來5年,將邁入閃存3.0時代。在閃存1.0時代,僅關注性能,主要通過高性能硬件實現,全閃存作為存儲系統的加速層,軟件特性非常缺乏,價格昂貴。在閃存2.0時代,閃存開始進入主存儲系統,通過系統化設計,提供豐富企業特性,同時通過數據縮減技術不斷降低閃存存儲成本,全閃存進入快速發展期。進入閃存3.0時代,四大變化將全面激發全閃存數據中心潛能釋放,進一步提升端到端性能,并實現綠色節能、安全可靠。
第一個變化是全場景閃存普惠。全閃存將從之前只用于核心數據存儲,比如金融核心、運營商計費系統,越來越多地走向全行業、全場景,比如超算、大數據場景也逐漸開始使用性能好、耗能低的全閃存存儲。
第二個變化是全場景數據保護。隨著全閃存應用場景不斷演進,數據全生命周期保護出現新的要求,包括保護等級的變化、保護對象的變化、保護性能的變化以及保護規模的變化。保護等級上,以銀行為例,資產規模千億以下時要求建立同城災備,當總資產規模超過千億,就需要建立兩地三中心災備。保護對象上,以前是結構化數據保護,現在需要同時保護結構化和非結構化數據。比如醫院HIS系統是結構化數據,而PACS影像是非結構化數據,要求保存10年以上,并且至少3年在線,可供快速調閱和診斷使用。保護性能上,災備的冷數據需要能變成溫熱數據,發揮數據的價值。保護規模上,數據從PB級增長到EB級。比如L4級自動駕駛數據,每車每天路測數據達60TB,是L2級的50倍。
第三個變化是多元融合管理。從傳統的煙囪式建設到全閃存整合,形成PB級資源池,這就需要存儲系統具備多元融合管理的能力。
第四個變化是高速網絡聯接。未來的存儲網絡需要用NVMe協議來替代SCSI協議,讓全閃存最大程度釋放性能潛力。
全閃存數據中心四大能力引領未來建設
在龐鑫看來,建設全閃存數據中心,不僅僅是對介質進行升級,同時也是將數據中心資源進行整合,架構進行重構,以應對未來業務多樣性的需求。華為通過提供全場景閃存化、全場景數據保護、全生命周期自動化運維管理以及全IP數據中心網絡四大能力實現數據中心效率更高、安全等級更高、運維更智能、網絡無瓶頸、綠色低成本的目標。
1. 全場景閃存化,綠色節能,邁向碳中和
全場景閃存化是指多類型的數據負載均應通過閃存存儲進行業務加速,除了主存的全閃化替代之外,華為建議存儲災備系統也應加大閃存配比,讓災備數據快取快用,實現存儲容災的常態化和備份存儲的生產化能力。
在主存上,借助最新的SCM介質,可以對熱數據進一步加速,時延低至亞毫秒級;在備份上,通過閃存加速,有效提升備份系統性能,將原來的備份時間由小時級縮短為分鐘級,確保備份數據即時可用;在歸檔上,SSD作為歸檔緩存提供高訪問性能,歸檔數據訪問時間從小時級降低到分鐘級。
華為還致力于領先數據縮減算法研究,實現有限的空間能存放更多的數據,加速閃存普惠。華為在全球數學圣地法國巴黎和俄羅斯莫斯科,分別建立了算法研究中心,將數據的縮減做到極致。去年華為舉辦的全球數據壓縮大賽,里面有不少算法就開始應用到華為全閃存存儲產品上。
2. 全場景數據保護,保護對象更廣、業務響應更快、留存時間更久
隨著數據量越來越多,數據越來越重要,更大規模和更多類型的數據需要保護,數據災備速度、恢復速度、副本使用頻度、乃至留存時間,都需要大幅的提升。
從保護對象的角度來看,災備數據的范圍變大,從核心到通用到一般,從生產核心擴大到開發測試、分析訓練、視頻監控,從結構化數據擴大到非結構化數據。這一趨勢導致災備數據量迅速變大,但備份窗口不變或變小。數據災備的等級需要提升,從本地的雙活/主備容災,到異地3DC,再到災備上云,進行全方位的數據保護。同時備份數據需要立即可用,不需要數據恢復到生產設備后再使用。在數據留存方面,數據合規通常要求重要數據留存30年以上,同時具備防刪改、防病毒,適應較為寬泛的機房環境。
3. 全生命周期自動化運維管理,提升運維效率
全閃存的普及將加速數據資源池化,而數據池化加劇了數據中心運維的難度,華為全閃存數據中心具備全生命周期自動化運維的能力,即在規劃、建設、運維、優化的各個階段,均具備自動化智能化的能力。
在規劃階段從關注設備到關注數據的全生命周期,實現精準規劃;在建設階段實現從人工到自動化,核心是全局資源發放;在運維階段變被動巡檢為主動發現,實現全棧智能運維;在優化階段變依賴專家經驗為智能算法自治,達到資源配置敏捷優化。
4. 全IP數據中心網絡,最大化釋放閃存性能潛力
全場景閃存化也推動了數據中心的網絡改革,NVMe最大化釋放了SSD介質的能力,更快的介質和協議呼喚更快的網絡。NoF(NVMe over Fabric)存儲網絡應運而生,通過使用IP網絡進行對專用網絡的創新性革新,實現了更快吞吐帶寬和更低時延,同時也兼具IP易管理優勢,是更好地實現端到端NVMe存儲網絡的最佳方案,NoF方案也是目前業界最主流的趨勢。
基于當下業界主流標準NoF方案,華為又依托在網絡和存儲領域的深厚積累,從可靠性、性能、易用性上對其進行提升,基于智能無損網絡面向華為OceanStor存儲提出了NoF+方案,將下一代數據中心存儲網絡推向更廣闊的發展空間。
在演講最后,龐鑫表示,包含了OceanStor全閃存、OceanProtect數據保護、DME全生命周期智能運維、NoF+高速存儲網絡在內的華為全閃存數據中心解決方案,是打造未來安全高效、綠色節能數據中心行之有效的方法。全閃存數據中心必將在未來大展身手,推動社會經濟生產邁向新征程。