?在過去的20多年時間里，企業(yè)數(shù)據(jù)中心的IT架構(gòu)經(jīng)歷了封閉式、開放式和混合式三個發(fā)展階段。現(xiàn)在的混合式架構(gòu)主要指“穩(wěn)態(tài)”和“敏態(tài)”相結(jié)合的混合雙模式IT架構(gòu)。對于金融行業(yè)，尤其是銀行客戶而言，“穩(wěn)健”依然是整個企業(yè)平穩(wěn)發(fā)展的基石，任何沒有建立在穩(wěn)定基礎(chǔ)上的行業(yè)創(chuàng)新，都像是無根的浮萍。另一方面，互聯(lián)網(wǎng)、云計算等新興技術(shù)的創(chuàng)新性讓很多金融機構(gòu)有機會通過差異化業(yè)務(wù)進行創(chuàng)新，并獲得更多的用戶的青睞。因此“穩(wěn)態(tài)”和“敏態(tài)”的IT架構(gòu)成為大多數(shù)銀行客戶的選擇。

數(shù)據(jù)是企業(yè)最重要的核心資產(chǎn)，數(shù)據(jù)的存儲任何時候都是用戶最為關(guān)心的。在“穩(wěn)態(tài)”IT架構(gòu)中，基于SAN架構(gòu)的集中式存儲憑借其高吞吐低延時的優(yōu)越性能以及突出的穩(wěn)定性和可靠性備受用戶青睞。在“敏態(tài)”架構(gòu)中，分布式存儲憑借其良好的擴展性成為主流存儲選擇。那么集中式存儲在以云技術(shù)為基礎(chǔ)的“敏態(tài)”架構(gòu)下是否依然有市場呢？本文將進行這一話題的談?wù)摗?/p>

一、集中式和分布式存儲的區(qū)別

集中式存儲和分布式存儲特點顯著分明，集中式存儲具有穩(wěn)定可靠性好，數(shù)據(jù)服務(wù)豐富，有良好的數(shù)據(jù)一致性及存儲容災(zāi)解決方案，接口標準兼容性廣泛，性能強等優(yōu)點。同時集中式存儲存在著擴展性等方面的限制。當然隨著技術(shù)的發(fā)展，集中式存儲目前處于第五代存儲階段，存儲性能和時延提升到了相當高的水平，同時在擴展性上主流品牌產(chǎn)品均支持橫向集群擴展以應(yīng)對單一的大規(guī)模應(yīng)用場景。

分布式架構(gòu)的存儲，擴展集群規(guī)模大，硬件成本低廉，另一方面也存在著單節(jié)點性能低，延時高 , 數(shù)據(jù)弱一致性，標準不統(tǒng)一且非常依賴網(wǎng)絡(luò)環(huán)境和帶寬，如果網(wǎng)絡(luò)發(fā)生抖動或者故障，都可能會影響分布式存儲系統(tǒng)運行。

分布式存儲和集中式存儲的使用主要區(qū)分可在業(yè)務(wù)類型上，分布式存儲主要的特點在擴展性和高并發(fā)下的聚合帶寬上，集中式存儲主要特點在IO處理能力和延遲上，所以需要根據(jù)自身的業(yè)務(wù)特性對存儲進行選擇。數(shù)據(jù)增長快、復(fù)用要求高、架構(gòu)要求靈活擴展的采用分布式存儲。業(yè)務(wù)重要性高、數(shù)據(jù)規(guī)模穩(wěn)定、需求場景相對單一，對IO時延要求高的業(yè)務(wù)采用集中式存儲。  

二、數(shù)據(jù)中心建設(shè)模式的變化

傳統(tǒng)數(shù)據(jù)中心建設(shè)方式采用三層架構(gòu)部署，存儲架構(gòu)為SAN，前端應(yīng)用環(huán)境主要包括兩類：服務(wù)器虛擬化和數(shù)據(jù)庫應(yīng)用。這兩類主要應(yīng)用對存儲的要求為低延遲、高并發(fā)，對存儲性能（IOPS和Throughout）和存儲可靠性要求極高。

隨著現(xiàn)代應(yīng)用架構(gòu)（電子商務(wù)、云原生、微服務(wù)、分布式應(yīng)用、DevOps）的流行，用戶開始將越來越多的傳統(tǒng)應(yīng)用進行改造和重構(gòu)，遷移到云端部署。相應(yīng)地，數(shù)據(jù)存儲采用云分層存儲技術(shù)，或直接采用云存儲。數(shù)據(jù)中心建設(shè)模式的這種變化也可以成為云化。

那么在云化環(huán)境下，在云平臺的基礎(chǔ)架構(gòu)層該使用什么樣的存儲技術(shù)呢？目前國內(nèi)的主流云平臺產(chǎn)品大都是基于OpenStack開發(fā)的，通常會采用基于Ceph開發(fā)的分布式存儲作為云平臺的主要后端存儲。

Ceph是一種為優(yōu)秀的性能、可靠性和可擴展性而設(shè)計的統(tǒng)一的、分布式文件系統(tǒng)。性能主要是通過放棄傳統(tǒng)集中式存儲元數(shù)據(jù)尋址的方案，采用CRUSH算法，數(shù)據(jù)分布均衡，提高并行度。可靠性主要通過設(shè)置多副本，支持故障域隔離等技術(shù)實現(xiàn)。高可擴展性主要體現(xiàn)在架構(gòu)去中心化，擴展靈活。Ceph 的統(tǒng)一體現(xiàn)在可以提供文件系統(tǒng)、塊存儲和對象存儲三種存儲接口。

如今商用市場上的OpenStack+Ceph的配合打得很好，造成了大家都認為云平臺就該掛分布式存儲。其實不然，云平臺也可以使用集中式存儲，而且在某些特定場景下集中式存儲反而更有優(yōu)勢。

三、集中式存儲對接云平臺的可行性

作為目前目前最流行的IaaS框架，OpenStack 在Folsom 版本開始，將之前在Nova 中的部分持久性塊存儲功能分離出來，獨立為新的組件Cinder。Cinder是OpenStack中提供存儲服務(wù)的API框架，用來為后端不同的存儲結(jié)構(gòu)提供統(tǒng)一的接口使其與OpenStack進行整合。不同的塊設(shè)備服務(wù)廠商在Cinder中實現(xiàn)其驅(qū)動支持。后端的存儲可以是DAS、NAS、SAN、對象存儲或者分布式文件系統(tǒng)。由于在云計算領(lǐng)域OpenStack受歡迎度非常高，因此眾多存儲廠商如NetAPP、IBM、EMC和眾多開源快存儲系統(tǒng)均提供了對Cinder的支持，這也為在云平臺基礎(chǔ)架構(gòu)層使用SAN存儲提供了技術(shù)基礎(chǔ)。那么實際部署時需要提前考慮哪些因素呢？

當用戶規(guī)劃是否可以在云平臺下使用集中存儲時，需要首先考慮兩個方面。

第一，自己使用的云平臺是不是基于OpenStack開發(fā)的，如果不是，那可能都沒有SAN的接口。國內(nèi)的主流云平臺產(chǎn)品大都是基于OpenStack開發(fā)的，但也存在少量的自研云平臺。大多數(shù)國內(nèi)供應(yīng)商都是基于OpenStack架構(gòu)開發(fā)的產(chǎn)品。所以，我們所說的集中存儲和云平臺對接，大都會演變?yōu)楹蚈penStack的某個版本進行對接。

第二，基于Openstack的云平臺通過使用Cinder來對接FC-SAN集中式存儲，Cinder只提供框架，需要通過調(diào)用FC-SAN設(shè)備廠商提供的Driver來使用和管理。這方面需要云平臺廠商配合。如果確實計劃使用集中存儲作為云平臺底層存儲池但又遇到云平臺廠商不支持和該品牌或者型號存儲驅(qū)動對接時，可以采用在云平臺的存儲節(jié)點掛載FC盤，然后再以lvm、filesystem或ceph osd的方式來對接云平臺Cinder接口，但這樣有著不可避免的性能損耗，并非最佳選擇。目前國內(nèi)大部分基于OpenStack開發(fā)的云平臺產(chǎn)品中已經(jīng)集成主流存儲廠家的FC驅(qū)動，可以讓Cinder與存儲底層對接，得到更高和更穩(wěn)定的性能表現(xiàn)。

四、集中式存儲如何在云環(huán)境下部署

上文提到由于國內(nèi)的主流云平臺產(chǎn)品大都是基于OpenStack開發(fā)的，所以我們所討論集中存儲和云平臺的對接，其實演變?yōu)楹蚈penStack的某個版本進行對接。在OpenStack部署集中存儲主要有兩種部署組網(wǎng)方式，分別為IP-SAN和FC-SAN。

1.IP-SAN?

顧名思義，在云平臺底座通過IP-SAN方式部署集中存儲也就是云平臺的存儲節(jié)點通過IP網(wǎng)絡(luò)連接集中存儲。架構(gòu)圖如下：

由于OpenStack架構(gòu)是運行在IP組網(wǎng)中的，因此這種方式更接近于客戶希望點。當然目前都建議使用10Gb甚至更高速率的以太網(wǎng)。使用IP-SAN方式的優(yōu)點在于無需在客戶網(wǎng)絡(luò)環(huán)境中部署兩套網(wǎng)絡(luò)，網(wǎng)絡(luò)成本更低。另一方面由于存儲網(wǎng)絡(luò)是基于IP網(wǎng)絡(luò)，無需協(xié)議轉(zhuǎn)換，節(jié)省性能。同時可以借助集中存儲成熟的雙活和復(fù)制的功能實現(xiàn)兩地三中心高可用架構(gòu)。IP可達，災(zāi)備可達。

2.FC-SAN?

由于集中存儲的使用場景通常是FC方式，在云平臺中使用FC-SAN方式接入集中存儲是集中存儲廠商更希望看到的。

架構(gòu)圖如下：

使用這種方式接入的優(yōu)點是FC-SAN的傳輸穩(wěn)定性和安全性高于IP-SAN。缺點則有兩個方面，一是除IP網(wǎng)絡(luò)之外，必須再部署一套基于FC協(xié)議的SAN網(wǎng)絡(luò)，增加了網(wǎng)絡(luò)管理的復(fù)雜度。二是SAN網(wǎng)絡(luò)的部署成本較高，服務(wù)器的HBA卡和SAN交換機價格不菲，尤其是在集群規(guī)模較大的云平臺環(huán)境中，F(xiàn)C的開銷可能會相當高。

兩種部署方式特點鮮明，IP-SAN方式更適合規(guī)模較大、業(yè)務(wù)特點小而多的云平臺場景，F(xiàn)C-SAN則更適合云規(guī)模相對不大，但云上業(yè)務(wù)重要性較高的業(yè)務(wù)場景。

五、集中式存儲在云環(huán)境下特定場景的優(yōu)勢

現(xiàn)代數(shù)據(jù)中心的建設(shè)模式不論如何發(fā)展，無論是傳統(tǒng)集中式架構(gòu)還是云化等分布式架構(gòu)，用戶的數(shù)據(jù)始終是最重要的核心資產(chǎn)，數(shù)據(jù)安全和存儲系統(tǒng)的可靠性始終是用戶最為關(guān)心的。在這方面集中式存儲憑借其特性占有先天優(yōu)勢，主要體現(xiàn)在以下幾個方面。

1.便于遷移，實現(xiàn)利舊?

如果用戶原來的數(shù)據(jù)就在集中存儲里，上云后數(shù)據(jù)依然存儲在原來的存儲里，可避免數(shù)據(jù)遷移的麻煩和遷移過程中數(shù)據(jù)丟失的風險。另一方面也降低再次采購存儲的成本，保護了用戶的原有投資。

2.性能可期、擴展可靠?

SAN存儲性能優(yōu)異，表現(xiàn)穩(wěn)定，數(shù)據(jù)訪問有可靠性、實時性、一致性保證。同時，現(xiàn)在主流品牌SAN存儲產(chǎn)品均支持橫向集群擴展，可實現(xiàn)控制器節(jié)點和磁盤柜靈活在線擴容，存儲性能和存儲容量可獨立按需線性增長。

3.云可變、數(shù)據(jù)安全?

作為用戶的核心資產(chǎn)數(shù)據(jù)，如果存放到某云廠商的云平臺中，其業(yè)務(wù)今后就被其徹底綁定，后期維護、業(yè)務(wù)調(diào)整、擴容及災(zāi)備建設(shè)等，都只能依托這家云廠商來運作。因此用戶在規(guī)劃云平臺架構(gòu)時，可以將核心資產(chǎn)數(shù)據(jù)與業(yè)務(wù)分開規(guī)劃。數(shù)據(jù)存儲在開放、標準的SAN存儲中，只有業(yè)務(wù)上云。核心數(shù)據(jù)資產(chǎn)解除與云平臺廠家之間的綁定關(guān)系。

4.數(shù)據(jù)可靠性管理簡單高效?

業(yè)務(wù)上云后，放在存儲中的數(shù)據(jù)根據(jù)用戶對數(shù)據(jù)可靠性、實時性要求，可以做雙活、全閃、快照、復(fù)制、備份等專業(yè)存儲的特色功能，比在云上實施簡單、靈活，效率高，數(shù)據(jù)恢復(fù)時間受控，后期建設(shè)及維護成本也低。

作者：康建國，某農(nóng)信存儲工程師。目前主要負責小型機、存儲、數(shù)據(jù)庫等方面的運維及管理工作。銀行從業(yè)13年，參加過省農(nóng)信核心系統(tǒng)架構(gòu)升級、主機下移、開放平臺存儲架構(gòu)優(yōu)化等項目，對存儲雙活、數(shù)據(jù)庫高可用等方面有著深入的見解。