兩手都要硬:全閃存陣列兼具高性能與高可用
剛過去的天貓“雙十一”支付峰值為25.6萬筆/秒,數(shù)據(jù)庫處理峰值為4600萬次/秒;而一個證券交易平臺高峰期系統(tǒng)需要處理數(shù)萬甚至十幾萬筆交易,而這背后閃存的廣泛應用功不可沒。但就存儲介質性能而言,一個主流NVMe SSD的IOPS能夠達到50萬甚至接近100萬,延遲卻低于100μs,相對于IOPS只有不到200、延遲ms級的HDD,SSD推動存儲介質性能實現(xiàn)了質的飛躍,而這之后,全閃存陣列應運而生。
從無到有 從有到優(yōu)的全閃存陣列
早期的全閃存陣列以Violin Memory以及TMS(后被IBM收購)為代表,其特點是通過復雜的硬件架構實現(xiàn)設備的高性能,這兩家公司打開了全閃存陣列市場的大門,但是由于設備軟件功能不足,易用性較差,最終走向衰落。此后主流存儲廠商開始嘗試改良自己的磁盤陣列推出全閃存或者混合陣列,這樣的陣列借助原有存儲系統(tǒng)成熟的架構能夠很好的服務于上層業(yè)務,但是閃存與磁盤特性上有著本質的不同,所以這樣的產品在性能上有著無法突破的瓶頸。
隨著閃存技術的不斷演進,全閃存陣列的設計思路也越來越清晰,那就是既要有閃存的高性能又要具有傳統(tǒng)陣列豐富的軟件功能,如今閃存陣列已經發(fā)展至第四代,以華為的OceanStor Dorado V3的全閃存陣列為代表。
從組件到系統(tǒng)級的技術革新 實現(xiàn)極限性能以及6個9高可用性
為了追求性能極限,華為從底層的SSD到上層的資源管理算法和系統(tǒng)都進行了***針對性的設計。首先華為擁有自研的SSD控制器芯片,包括FTL在內的SSD核心功能和算法都放在控制器芯片中實現(xiàn),性能高并且不會過多占用系統(tǒng)CPU資源。
同時,基于FlashLink™的盤控配合技術,這項技術通過SSD驅動與控制器軟件的配合,將數(shù)據(jù)更均勻的分配到每一塊SSD盤中,并根據(jù)SSD盤的狀態(tài)動態(tài)調整分配算法。在此基礎上,磨損均衡以及垃圾回收等操作會更加高效,比如系統(tǒng)會定期向 SSD 控制器查詢盤片磨損程度,并將磨損程度高低作為分配空間的判斷依據(jù)之一,從而實現(xiàn)了全局的磨損均衡。
華為FlashLink盤控配合技術概述
華為OceanStor Dorado V3 的FlashLink是華為為全閃存陣列而設計的一系列算法集合,包含有大塊順序寫、元數(shù)據(jù)獨立分區(qū)以及I/O優(yōu)先級調整等技術。
大塊順序寫
是指系統(tǒng)將多個離散的數(shù)據(jù)塊在控制器內存中進行聚合形成一個大數(shù)據(jù)塊,順序寫入SSD,如此可以減少SSD的垃圾塊。
元數(shù)據(jù)獨立存放
是指可控制器可以自動感知硬盤內的數(shù)據(jù)布局,在控制器和SSD盤內同步執(zhí)行元數(shù)據(jù)與數(shù)據(jù)的分離存放操作。
FlashLink還會對I/O優(yōu)先級別進行了標識并進行智能調整。數(shù)據(jù)讀寫請求高于Cache批量寫、硬盤重構等I/O,保障優(yōu)先的業(yè)務數(shù)據(jù)讀寫在***順序響應。
在FlashLink以及高性能的SSD支持下,華為OceanStor Dorado V3可以實現(xiàn)400萬IOPS,0.5ms穩(wěn)定時延。另一方面,高性能的基礎上,高可靠和高可用是全閃存陣列的必備特性。華為OceanStor Dorado V3全閃存陣列可以實現(xiàn)6個9高可用性,并且允許3盤同時失效,實現(xiàn)如此高標準的可用性,依靠的是華為全面的數(shù)據(jù)保護技術。
首先
華為SSD的MTBF可以達到業(yè)界***的300萬小時,擁有LDPC以及SSD內部RAID等高可靠技術。
另外
華為的RAID-TP技術采用每個條帶生成 3 個校驗數(shù)據(jù),允許同一RAID組內3塊盤失效,重構1TB數(shù)據(jù)時間在30分鐘以內。
方案層面,華為OceanStor Dorado V3可以提供免網關雙活解決方案,這一方案支持兩個數(shù)據(jù)中心的存儲同一個 LUN 支持業(yè)務同時讀寫,正常情況下提供業(yè)務負載分擔部署,實現(xiàn)跨數(shù)據(jù)中心的業(yè)務負載均衡。免網關的設計使得系統(tǒng)組網簡單,容易部署;減少一個故障點,可靠性更好;同時避免了網關設備額外引入的約1~1.6ms的時延,性能更好。
如果說高性能與高可靠是全閃存陣列的必備特性,那么重復數(shù)據(jù)刪除、便捷的管理以及靈活部署則是全閃存陣列的升級版亮點。華為OceanStor Dorado V3一大亮點就是重復數(shù)據(jù)刪除功能。
華為OceanStor Dorado V3在數(shù)據(jù)庫和虛擬化場景下數(shù)據(jù)縮減承諾
用戶數(shù)據(jù)進入系統(tǒng)后,Cache 先緩存數(shù)據(jù),此時系統(tǒng)會對數(shù)據(jù)進行分塊(默認為8K),接著生成數(shù)據(jù)塊指紋并與系統(tǒng)指紋數(shù)據(jù)進行對比,沒有相同的指紋則將數(shù)據(jù)塊寫到SSD上并記錄新指紋,當比對成功,就不再進行數(shù)據(jù)落盤操作,而是增加指紋計數(shù)。需要指出的是在線重復數(shù)據(jù)刪除不會影響OceanStor Dorado V3的性能,當前所有OceanStor Dorado V3的測試數(shù)據(jù)也是在這項功能開啟時測得的。
華為OceanStor Dorado V3作為新一代全閃存陣列,從組件到系統(tǒng)都是針對閃存特性而設計,性能與可靠性都能全面滿足數(shù)據(jù)庫、虛擬桌面等企業(yè)級應用需求,同時OceanStor Dorado V3處于華為聯(lián)手云計算、存儲、操作系統(tǒng)、網絡以及系統(tǒng)集成商等合作伙伴打造的完整生態(tài)之中,客戶可以借助這一生態(tài)平滑的將自己的業(yè)務遷至全閃存陣列上。
未來,華為將把新存儲介質(比如SCM)、NVMe over Fabrics等技術全面融入到全閃存陣列中,推動數(shù)據(jù)中心全面進入全閃存時代。
全文結束--