云存儲(chǔ)架構(gòu)框架設(shè)計(jì)如何實(shí)現(xiàn)以應(yīng)用為基礎(chǔ)的服務(wù)模式?
引言
云原生的發(fā)展帶動(dòng)了軟件定義,由此帶來的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等架構(gòu)均向軟件定義轉(zhuǎn)變,特別是金融行業(yè)的發(fā)展越來越依賴IT架構(gòu)和業(yè)務(wù)系統(tǒng)支撐,在銀行業(yè)尋求系統(tǒng)變革的時(shí)代,存儲(chǔ)架構(gòu)的變革如何適應(yīng)以應(yīng)用為基礎(chǔ)的服務(wù)模式,是目前絕大多數(shù)銀行在探討和嘗試的方向,傳統(tǒng)存儲(chǔ)和云存儲(chǔ)如何搭配使用,云存儲(chǔ)如何做到適應(yīng)數(shù)據(jù)結(jié)構(gòu)的要求,怎樣利用數(shù)據(jù)的多樣性等特點(diǎn),設(shè)計(jì)出適用業(yè)務(wù)的存儲(chǔ)架構(gòu)及存儲(chǔ)模式,軟件定義存儲(chǔ)如何做好穩(wěn)定性的高要求,如何利用軟件定義提高投入產(chǎn)出比,下面我們來展開討論下“云存儲(chǔ)架構(gòu)框架設(shè)計(jì)如何實(shí)現(xiàn)以應(yīng)用為基礎(chǔ)的服務(wù)模式”。
1.銀行應(yīng)用模式轉(zhuǎn)型
隨著互聯(lián)網(wǎng)的發(fā)展,帶動(dòng)了金融行業(yè)的業(yè)務(wù)變革,銀行業(yè)從傳統(tǒng)的柜臺(tái)模式向遠(yuǎn)程化、線上化轉(zhuǎn)變,網(wǎng)上銀行、手機(jī)銀行等互聯(lián)網(wǎng)應(yīng)用相繼出現(xiàn),越來越多的客戶選擇通過線上辦理業(yè)務(wù),和傳統(tǒng)模式到銀行柜臺(tái)辦理業(yè)務(wù)相比,新應(yīng)用極大的提高了業(yè)務(wù)辦理效率,致使客戶越來越青睞通過線上辦理銀行業(yè)務(wù)。
為滿足客戶對(duì)新應(yīng)用、新業(yè)務(wù)的訴求,同時(shí)為了精準(zhǔn)獲客,要求業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)快速迭代開發(fā)、更新升級(jí),及時(shí)響應(yīng)業(yè)務(wù)需求,加速業(yè)務(wù)創(chuàng)新,各銀行均開始調(diào)整傳統(tǒng)IT系統(tǒng),敦促業(yè)務(wù)著力以客戶為中心、數(shù)據(jù)為基礎(chǔ),利用新技術(shù)對(duì)銀行客戶服務(wù)和業(yè)務(wù)流程進(jìn)行數(shù)字化再造,提供全渠道、無縫式、個(gè)性化的產(chǎn)品和服務(wù),全面實(shí)現(xiàn)業(yè)務(wù)處理的數(shù)據(jù)化、自動(dòng)化、智能化。
銀行數(shù)據(jù)化改變了原來金融數(shù)據(jù)的“狹窄”數(shù)據(jù)體系,提高數(shù)據(jù)獲取能力,獲取以客戶為中心的完整數(shù)據(jù),包括客戶行為和金融業(yè)務(wù)數(shù)據(jù),實(shí)現(xiàn)大數(shù)據(jù)分析與管理,體系化、標(biāo)準(zhǔn)化的數(shù)據(jù)結(jié)構(gòu)為銀行IT追求的下一階段目標(biāo),承載數(shù)據(jù)的存儲(chǔ)架構(gòu)也變得尤為重要,各家銀行均在極力尋找新的存儲(chǔ)框架,實(shí)現(xiàn)滿足以應(yīng)用為基礎(chǔ)的服務(wù)模式,提供更具個(gè)性化、精準(zhǔn)化、智能化的服務(wù)模式,實(shí)現(xiàn)與客戶交互、產(chǎn)品、服務(wù)的感知性和便捷性,降低銀行經(jīng)營成本。
2.應(yīng)用轉(zhuǎn)型對(duì)數(shù)據(jù)結(jié)構(gòu)的要求
從業(yè)務(wù)的環(huán)境變化角度而言,新業(yè)務(wù)主要是互聯(lián)網(wǎng)交易,對(duì)數(shù)據(jù)結(jié)構(gòu)而言,要求滿足單數(shù)據(jù)結(jié)構(gòu)復(fù)雜,數(shù)據(jù)庫實(shí)例明顯變大,傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)庫很難滿足新業(yè)務(wù)對(duì)數(shù)據(jù)結(jié)構(gòu)的要求,導(dǎo)致新業(yè)務(wù)場(chǎng)景下,銀行科技部門更傾向于將傳統(tǒng)數(shù)據(jù)分散化、靈活化,開始對(duì)傳統(tǒng)數(shù)據(jù)庫進(jìn)行分庫分表的研究,甚至對(duì)存儲(chǔ)系統(tǒng)也開始進(jìn)行云化、服務(wù)化的研究。
所以從技術(shù)架構(gòu)上來看,基于云化、服務(wù)化的分布式存儲(chǔ)與兩地三中心的容災(zāi)能力也是銀行的研究重點(diǎn)。為滿足對(duì)應(yīng)用的訴求,新的數(shù)據(jù)結(jié)構(gòu)必須具備支持如下技術(shù)能力:
1.支持微服務(wù)分布式應(yīng)用架構(gòu):核心系統(tǒng)需要能夠敏捷快速地支撐產(chǎn)品創(chuàng)新,支撐場(chǎng)景化和平臺(tái)化的金融業(yè)務(wù),而C端客戶,互聯(lián)網(wǎng)客戶的需求變化速度遠(yuǎn)高于傳統(tǒng)模式,以微服務(wù)的方式通過領(lǐng)域模型的拆分與劃分,進(jìn)行快速的微服務(wù)迭代方式研發(fā),并通過可支持灰度與安全可控發(fā)布的云化模式上線,才能達(dá)到這樣敏捷的程度。
2.支持分布式事務(wù)處理:當(dāng)核心應(yīng)用基于分布式改造之后,對(duì)于余額等待狀態(tài)需要強(qiáng)一致性保障的操作而言,分布式事務(wù)的處理框架與保障機(jī)制會(huì)變得非常重要。同時(shí)在互聯(lián)網(wǎng)高頻特征下,在確保一致性的同時(shí)保證高性能,會(huì)對(duì)整個(gè)事務(wù)處理提出非常高的要求和挑戰(zhàn)。分布式事務(wù)處理是核心改造中的一個(gè)關(guān)鍵性問題。
3.支持分布式數(shù)據(jù)處理:在解決了核心業(yè)務(wù)應(yīng)用能夠敏捷進(jìn)行響應(yīng)的挑戰(zhàn)之后,對(duì)于性能和擴(kuò)展能力的要求也是在核心銀行系統(tǒng)的研發(fā)過程中碰到的一個(gè)重要挑戰(zhàn),尤其對(duì)于基于互聯(lián)網(wǎng)的工作負(fù)載而言,需解決底層數(shù)據(jù)的高效和安全性。
3 IT系統(tǒng)存儲(chǔ)的選擇
3.1 集中式存儲(chǔ)
集中式存儲(chǔ)是各銀行常見的存儲(chǔ)設(shè)備,在銀行應(yīng)用中,主要有SAN及NAS存儲(chǔ)、融合存儲(chǔ)、混閃、全閃等幾種存儲(chǔ)形態(tài),磁盤的發(fā)展經(jīng)歷了機(jī)械盤、SSD固態(tài)硬盤、NVMe接口全閃存等磁盤類型;隨著磁盤及存儲(chǔ)性能的穩(wěn)步提升,延時(shí)和高可用性都得到了進(jìn)一步的提升。銀行的主要應(yīng)用場(chǎng)景也集中在核心業(yè)務(wù)、穩(wěn)態(tài)系統(tǒng)、數(shù)據(jù)庫、虛擬化等。集中存儲(chǔ)功能完善,穩(wěn)定性好,運(yùn)維簡(jiǎn)單,監(jiān)控、運(yùn)維體系健全,技術(shù)成熟,可選擇的范圍也很廣,從中低端到高端產(chǎn)品齊全。不足是:?jiǎn)误w容量有限,可擴(kuò)展性較差。
3.2 云存儲(chǔ)
在銀行數(shù)字化轉(zhuǎn)型的背景下,傳統(tǒng)的存儲(chǔ)模式,已經(jīng)不適應(yīng)當(dāng)下金融業(yè)務(wù)所有需求。滿足各類場(chǎng)景下存儲(chǔ)的“軟能力”變得尤為重要。隨著各銀行對(duì)非結(jié)構(gòu)化數(shù)據(jù)、海量文件的處理,分布式存儲(chǔ)也隨之出現(xiàn)了塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)等類型。
分布式云存儲(chǔ),使用多臺(tái)PC服務(wù)器,構(gòu)造一個(gè)軟件定義的存儲(chǔ),其特點(diǎn)非常敏捷,資源可彈性部署、按需獲取,支撐新興業(yè)務(wù)快速上線;面對(duì)數(shù)據(jù)中心結(jié)構(gòu)化、非結(jié)構(gòu)化等復(fù)雜的數(shù)據(jù)類型,能提供豐富的訪問接入支持;可快速海量擴(kuò)展性能與容量,擴(kuò)展方式非常簡(jiǎn)單,供極致性能,滿足并行數(shù)據(jù)處理需求;在滿足那么多功能與性能需求的同時(shí),還能降低TCO。
3.3 云存儲(chǔ)和集中式存儲(chǔ)區(qū)別
在選擇上,如果系統(tǒng)對(duì)延時(shí)要求高,對(duì)性能的穩(wěn)定性要求高,那么最好的選擇是集中式存儲(chǔ)。如果系統(tǒng)對(duì)IO吞吐量的要求高,而對(duì)性能要求沒那么高,云存儲(chǔ)是較高的選擇。對(duì)于海量數(shù)據(jù)的存儲(chǔ),分布式存儲(chǔ)也是是更好的選擇。
在云計(jì)算環(huán)境、虛擬化平臺(tái)所用的存儲(chǔ),如果虛擬機(jī)本身沒有承載高IO性能要求的應(yīng)用(如數(shù)據(jù)庫應(yīng)用),那么分布式存儲(chǔ)是較好的選擇,服務(wù)器的擴(kuò)容和存儲(chǔ)的擴(kuò)容可以根據(jù)實(shí)際存儲(chǔ)的用量同步進(jìn)行。未來隨著分布式技術(shù)的發(fā)展,伴隨著云計(jì)算技術(shù)的發(fā)展,分布式存儲(chǔ)也將逐步在一段時(shí)間內(nèi)成為主流。
對(duì)比表:
4.分布式云存儲(chǔ)的架構(gòu)設(shè)計(jì)
以華為分布式云存儲(chǔ)為例。分布式云存儲(chǔ)架構(gòu)如下所示,最右側(cè)對(duì)其按照邏輯分區(qū)抽象的分為節(jié)點(diǎn)池、硬盤池、資源池、存儲(chǔ)服務(wù)層和接入層5部分,其中節(jié)點(diǎn)池為底層的分布式服務(wù)器設(shè)備;硬盤池是對(duì)節(jié)點(diǎn)池的存儲(chǔ)硬盤進(jìn)行抽象,對(duì)市面上硬盤產(chǎn)品進(jìn)行相應(yīng)的歸類,大致列包括 SATA盤、SAS 盤、SSD盤和 NVMe SSD盤這 4種類型的硬盤存儲(chǔ);其上對(duì)由硬盤存儲(chǔ)組成的服務(wù)類型歸為塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)3種存儲(chǔ)資源池類型;而存儲(chǔ)服務(wù)層為分布式存儲(chǔ)本身具備的一些能力和特性,如多副本、糾刪碼、快照、克隆、遠(yuǎn)程復(fù)制、Qos、訪問控制及故障域等;接入層則表示分布式存儲(chǔ)具備的標(biāo)準(zhǔn)化接口能力,如 iSCSI、NFS、CIFFS、S3 等業(yè)內(nèi)標(biāo)準(zhǔn)的接口。左側(cè)的管理平臺(tái)則提供易管理、易操作的標(biāo)準(zhǔn)化界面,實(shí)現(xiàn)一體化的運(yùn)維、管理和維護(hù),同時(shí)也提供狀態(tài)監(jiān)控、性能監(jiān)控及故障的告警顯示等。
分布式云存儲(chǔ)通過系統(tǒng)軟件將標(biāo)準(zhǔn)硬件集群的本地存儲(chǔ)資源組織起來構(gòu)建全分布式存儲(chǔ)池,實(shí)現(xiàn)一套存儲(chǔ)系統(tǒng)向上層應(yīng)用提供塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)三種存儲(chǔ)服務(wù)。