什么是軟件定義存儲(SDS)

軟件定義存儲(Software-defined storage，SDS)是一種數據存儲方式，所有存儲相關的控制工作都放置在相對于物理存儲硬件的外部軟件中。這個軟件不是作為存儲設備中的固件，而是在一個服務器上或者作為操作系統(OS)或hypervisor的一部分。

軟件定義存儲是行業發展的趨勢，可以保證系統的存儲訪問在精準的水平上更靈活地管理，將軟件從硬件存儲中抽象，這意味著它可以變成一個不受物理系統限制的共享池，以便更有效地利用資源。存儲也可以通過軟件和管理進行部署和供應，其管理程序可以通過基于策略的自動化管理來進一步簡化。

軟件定義存儲有什么特點

• 可擴展。軟件定義存儲系統可以擴展到幾百臺甚至幾千臺的集群規模，而且，隨著集群規模的增長，系統整體性能表現為線性增長
• 低成本。軟件定義存儲系統的自動容錯、自動負載均衡機制使其可以構建在普通X86服務器之上。另外，線性擴展能力也使得增加、減少機器非常方便，可以實現自動運維。
• 高性能。無論是針對整個集群還是單臺服務器，分布式存儲系統具備高性能。

傳統的IT架構模式：

一直以來，傳統架構的數據庫運行在小型機和集中式SAN存儲上。隨著業務的高速發展，業務系統的交易量及數據量越來越大，對業務系統的處理能力及存儲能力要求越來越高。而傳統的架構擴展性差，計算能力有限，IO能力嚴重不足，如需達到相應的處理能力，則需要用更高配置的小型機和更高端存儲來代替現有的小型機和存儲，技術復雜，代價昂貴。同時，隨著設備的老化，設備性能越來越不足以支撐業務需要，業務系統的架構改造和升級勢在必行。

傳統架構的一些劣勢：

數據量：M級–>G級–>T級->海量已在眼前

數據量*用戶量–>關系用戶量：幾萬–>幾十萬–>幾百萬–>互聯網全開放

關系型數據庫之痛

中心化的存儲系統成為 I/O 存取的瓶頸:

1、傳統架構的數據庫節點需要高性能主機，成本高。對于多節點 RAC 數據庫，由于節點間的通信帶 寬通常為 1Gb s，較高的為 10Gb s，這個數量級的帶寬使得節點間 的并發處理能力沒有充分利用。同時，傳統的磁盤陣列受限于控制器的處理能力和 FC 端口帶寬，IO 吞吐量通常只能幾百MB/s，在數據庫要求大量的磁盤讀寫時，IO 消耗的時間過長。

2、小型機配高端存儲，成本高昂，相對比較封閉，擴展能力差:傳統架構的存儲擴展能力較差，在容量增加時，性能沒有相應提高。同時擴容成本高，擴容周期長。

3、復雜的系統帶來部署及操作、運維和管理的復雜性:在傳統架構下，需要了解多維度的運維知識和技能，如:數據庫、U ix、存儲等，對運維人員要求極高，部署及操作、運維和管理異常復雜。

IT基礎架構發展趨勢

IT架構的演變-煙囪狀到云化

兩層的計算-存儲架構有以下缺陷：

• 中心化的存儲系統
• IO存取邊界，擴展成本高昂
• 部署與運維復雜
• 不能快速應對IT人員資源需求

基于云化的高性能高可用架構的優勢：

• 高性能
• 彈性,可靈活多維動態擴展
• 統一運維管理，完善數據容災及保護

將帶來IT基礎設施性能的提升，x86平臺CPU性能提升。過去的10 年， CPU 處理速度提升8-10倍;DRAM 處理速度提升7-9倍。

存儲和網絡的發展

針對IT基礎架構的發展和IT基礎設施的發展，以x86服務器為基礎、使用閃存卡、Infiniband交換機可以使Oracle RAC達到很高的處理能力和IO吞吐量的分布式存儲方案zData應運而生。

zData軟件定義存儲基于x86的PC服務器，在大幅度提升系統性能，保持系統的擴展性和敏捷響應能力的情況下，成本相對于傳統架構還大大降低。zData Light Storage分布式存儲軟件可支持上千個節點，存儲池容量可以達到32PB。支持不同存儲介質構成的存儲資源池。在基礎配置(3個存儲節點)下，高達數百萬IOPS，吞吐量超過20GB/s 。

實施方式：

1.用戶可以自購硬件或利舊。

2.云和恩墨提供zData軟件及服務，包括性能及容量規劃，zData***實踐，數據庫遷移及優化，整體維保。

方案價值：

1.標準的x86開放架構，方案靈活方便。

2.無需采用高端小型機及高端存儲，建設及擴容性價比極高。

產品構造：

zData Light Storage存儲管理軟件

zData Light Storage是云和恩墨自主研發的分布式存儲管理軟件，是一套靈活的軟件定義存儲軟件，它充分利用基于PC服務器的內部直連式存儲來創建一個虛擬的、可擴展的存儲池，性能大大優于外部傳統光纖通道SAN，而成本和復雜性成倍降低。在zData中，通過zData Light Storage存儲管理軟件可以將高性能的x86服務器作為存儲節點, 從而可以將多個存儲節點的內部磁盤資源整合起來形成虛擬的SAN存儲資源池，在數據庫節點(計算節點)上安裝zData Light Storage客戶端就可以使用其中虛擬SAN。zData Light Storage支持Infiniband網絡下的RDMA協議,大幅減少CPU占用的同時能夠顯著降低IO訪問延遲,具有無可比擬的性能優勢 zData Light Storage支持主流存儲介質，包括PCIe、NVMe、SAS、SATA等接口的SSD盤和卡以及SAS、SATA接口的傳統機械硬盤。

Infiniband網絡

zData基于40~100GbInfiniband高速網絡，采用全冗余網絡架構，一方面可以提供足夠的帶寬承載 zData LightStorage存儲管理軟件的數據傳輸，使其性能大幅優于外部傳統FC SAN,且成本和復雜性成倍降低;另一方面為Oracle RAC集群的高性能讀寫提供了保障。

zData智能管理工具zMan

根據云和恩墨在Oracle數據庫領域的專業知識和強大團隊，研發了人性化的管理和運維工具zMan(zData Manager),zMan為zData提供智能方便一鍵化的安裝，部署，管理功能，極大的降低了管理和運維的成本并在管理功能上為用戶提供更簡單便利友好的操作體驗。

云和恩墨zData軟件定義存儲有以下的特點：

高性能

存儲節點和計算節點通過高速40~100Gb的Infiniband網絡互聯，每個連接的鏈路均可進行存儲數據傳輸。通過zDataLight Storage存儲管理軟件，在使用閃存卡的情況下，可以使單存儲節點提供IO吞吐量達到12GB/s以上，IOPS(每秒磁盤IO請求次數)可以達到40萬以上，磁盤訪問延遲在0.6ms以內。單計算節點上的IO吞吐量達到12GB/s以上，IOPS(每秒磁盤IO請求次數)可以達到100萬以上，磁盤訪問延遲在0.6ms以內。存儲的三項關鍵能力是傳統陣列的10倍以上。

• 多維動態擴展

在zData軟件定義存儲架構中，可以根據業務和應用的需求動態擴展計算節點和存儲節點，容量和性能線性增長。同樣，也可以根據業務和應用的需求動態減少計算和存儲節點，保證資源的***可用度

• 資源的池化&云化

在zData軟件定義存儲架構中，計算資源和存儲資源池化，統一管理,按需分配擴展。

• 架構和軟件的安全性和可靠性

在zData軟件定義存儲中，服務器，Infiniband交換機，Infiniband HCA卡及PCIe閃存卡等均冗余，任何一個設備和節點出現故障，均不影響在線業務的可用性，無單點故障。同時，zData存儲管理軟件自動管理和維護存儲資源，當分布式存儲網絡中有節點損壞，或移動增加存儲節點，zData存儲管理軟件會在已有的或完好的節點上重構完好的存儲“塊”，使得每一份存儲“塊”仍然有鏡像，保證數據的安全性，重構速度每小時可達2TB，可在線自動操作，無需人工干預和不影響在線業務。

• 統一運維管理，提高資源利用率

整個zData的資源通過zdata管理平臺統一管理，自動化運維，大大降低對IT管理人員技能要求。

zData zCache

云和恩墨zData軟件定義存儲獨有的智能緩存工具zCache，提供以下功能：

• 支持writeback和直通模式

• 支持在線啟動和關閉cache

• 支持自動/手動刷新臟數據

• 支持臟塊的刷新頻率和速度動態的控制

zdata軟件定義存儲的應用場景及優勢：

1、數據倉庫和報表(OLAP)類系統：這類系統的數據庫對IO性能要求非常高，存儲容量擴容需求大，但是對可用性、容災要求不高。這類系統在企業應用中屬于核心系統之外的次重要系統，如果購買***端的大容量集中存儲，成本很高。這類系統是zData軟件定義存儲解決方案的***使用場景。

2、聯機事務處理(OLTP)類系統：這類系統對實時性，并發性要求很高，對數據操作頻繁，相應對CPU及IO要求很高。由于zData軟件定義存儲解決方案能提供充足的計算能力及顯著降低IO延遲，這類系統也是zData軟件定義存儲解決方案的***使用場景。

3、數據庫云化和整合：一些大型企業，數據庫數量多，需要將很多不重要的數據庫整合起來，減少運維復雜度和減少成本。使用zData軟件定義分布式存儲解決方案構建數據庫云化和整合平臺，提高系統整合后的性能，增加系統的彈性(便于擴容)，并且使用zMan軟件定義存儲管理工具，讓用戶易于維護整合后的系統。zData支持OpenStack和VMware平臺的云化和管理。

4、X86架構下的數據庫備份容災：適用于很多傳統X86架構的數據庫系統建立以zData軟件定義分布式存儲為核心的低成本，高效率的備份及容災平臺。

下面，我分享以下目前一些zdata軟件定義存儲的成功案例

zData方案在多個企業和單位有過***實踐,以其高計算能力、高 I/O 能力、高可用能力、高可伸縮能力且***穩健性的分布式存儲架構，是具有高并發高IO需求的系統的***選擇。在過去的實踐中也得到證實和認可。

貴州交警

貴州交警某業務系統隨著系統應用的深入和廣泛，原有基礎架構、數據架構規劃和設計上的問題逐漸凸現出來，主要表現為業務數據爆炸增長、業務應用增多、系統響應緩慢、物理擴容達到瓶頸、設備達到服務年限。在經過zData一體機整合之后，整體用戶體驗得到了大幅改善，業務受理和辦理效率均得到了用戶贊譽。

性能提升效果：

1、整體性能提升18倍：重構前核心指標DBTIME每日***單小時為3563.15，重構后每日***單個小時指標為199.68，性能效果提升17.8倍。

2、I/O響應提升1000倍：重構前平均單次I/O請求時間為10.07毫秒，重構后平均I/O的請求時間縮短為0.01毫秒，I/O效率提升1007倍。

3、SQL性能提升117倍：考察違法審批報表SQL執行效率，重構前SQL執行需10206.1秒，重構后SQL執行完成只需87.07秒，執行效率提升117倍。