關于傳統存儲的發展史，早期已有人做過大量分析和總結。私有云、存儲服務化、智能運維這些字眼吸引著大眾眼球，那今天為什么還要舊話重提呢？一個時代眼看就要離我們而去，昔日的輝煌照亮眼下前進的方向，傳統硬件存儲盒子仍舊有很多東西值得我們品味和回顧。

架構演變貫穿存儲發展歷程，存儲起源于高端，那就從存儲多控架構開始回顧，最早的多控制器存儲其產品名為HDS通用存儲平臺(Universal Storage Platform即USP/USP V)。從歷史信息上可以看到，HDS在2000推出全交換架構后，EMC在3年后也推出了直連矩陣架構存儲DMX。

[[212328]]

這就是歷史有名的存儲三層架構，即前端、Cache和后端，架構緊耦合可靠性獨尊的優秀多控存儲架構。下面就從DMX入手說一說這個架構的主要特點。

DMX的Front-endDirector (FED)、Global Memory Director (GMD)、Back-end Director (BED)全互連、全共享，不需要交換機組件(因為HDS已經用了)。DMX自從2003年誕生最終發展到第四代DMX-4，在DMX架構中，每個Global Memory Director均與系統中所有FED、BED直接相連，可被其直接訪問。因此系統中所有內存均為全局Cache。

多個Director訪問共享內存實際上是易造成沖突的；前后端基于大背板相連，也就造就了對FED、BED、GMD的Scale Out數量有限，無法進一步增加。任何技術的發展都具有歷史和技術的局限性，但回想起來，在當時條件下能夠設計出這樣的產品，確實值得后人欽佩。我們經常會抱怨，產品架構設計的不好，不易技術演進和擴展，最終導致產品版本眾多，架構無法歸一，無法演進，但假如能沖出歷史局限性，當初產品會那么設計嗎？其實架構師也不容易，做過就知道，過去如此，將來亦如此。

架構在演進，HDS于2010年底將對其高端存儲架構進行了升級(發展到第5代)，稱為Hi-Star全交換網絡。相應的，推出了虛擬化存儲平臺(Virtual Storage Platform即VSP)。VSP較好的支持了Scale-out能力，即兩個控制框(Control Chassis)互連成為一套存儲系統，基于交換機和大背板的全互連架構，這個架構直到今天也在沿用(***VSP架構有更新，但變化不大)，被稱為可靠性***的系統之一。

前端處理單元(FED)、后端處理單元(BED)、控制處理單元(VSD)、Cache單元(DCA)在框內全冗余，且通過交換單元(GSW)實現全互聯(Hi-Star Network)，框間亦通過GSW實現互聯。HDS-VSP支持兩個控制框(ControlChassis)通過每個GSW預留的4個端口進行互聯，從物理組網上看，VSP的各個組件(FED、BED、DCA)是做到了全局共享(指跨控制框的共享)的。

演進再繼續，VMAX引入了引擎的概念，每個引擎含兩個控制器，每個控制器里面集成了FE、BE與內存(Global Memory***128GB)，控制器之間通過RapidIO交換機MIBE(Matrix Interface Board Enclosure)實現高速互連。Scale-out能力得到了極大增強(8引擎16控)。

VMAX每個控制器上的內存分為全局內存(Global Memory)、臨時中轉內存(Store and Forward)和控制內存(Control Store)。

全局內存用來保存全局的數據，如用戶數據、全局變量等。

臨時中轉內存用于緩存控制器與主機或后端硬盤交換的數據，起中轉隔離作用，全局內存不直接跟主機或硬盤交互數據。

控制內存用于存儲控制器上的私有信息，例如軟件包等。

對每個VMAX控制器而言，對于本地的全局內存和遠端的全局內存(即其它控制上的全局內存)，其訪問接口沿襲DMX技術，由底層實現本地與遠端的分別處理(遠端訪問則通過RapidIO通道進行跨控訪問)，降低了控制器訪問全局內存的沖突。

VMAX松散耦合的Virtual Matrix Architecture (***VMAX產品架構有更新，但變化不大)，將來原先DMX的FED、BED、GMD上的CPU全部集中到控制器上，VMAX后端與磁盤框的連接是雙控共享，一個磁盤框的兩個端口分別與同一個引擎兩個控制器的BED相連，擴展性明顯增強了。

整個多控存儲架構演進可以歸納如下，至于單控松耦合架構，目前在分布式Share Nothing架構中也采用比較多，主要用于大容量和易擴展的場景，但是VIX是一個比較有趣的產品，擴展性控制在15節點以內，在ServeSAN、全閃存和高端產品場景都經常遇到，大家可以自行分析下。

還有個傳奇的產品就是DS8000系列產品，現在已經更新到DS8888，雖然為傳統雙機架構，但戰斗力不容小覷，核心關鍵業務場景下，經常看到他的身影。利用兩臺小型機的強大能力，實現了其它廠家的多控高端存儲才能實現的高可靠與高性能。

產品都是被需求給逼出來的，高端存儲平民化后，不同需求隨著而來，存儲產品也被廠商們分為入門級、低端、中端、高端幾個檔位。但對于什么樣的存儲產品是高端、中端和低端，業界并沒有一致的定義。存儲的神奇之處就是百花齊放、百家爭鳴，每家都有自己的定義和理解，包括現在大家開口就談的SDS技術，也沒有統一標準，誰***市場誰說了算。不像IP或網絡、通信協議都有標準組織定義標準規范讓大家遵循，車同軌、書同文。

沒有實際標準，那就按照經驗來吧，因此，對產品等級和高低劃分都是圍繞著系統架構、前端Aactive Active、Cache機制、后端互連、可靠性等重點領域實力來劃分。廠商們相互擠懟也是從這些維度入手，一度讓人記憶猶新的就是規格大戰，A廠商單卷支持1024個快照，B廠商采用2048個快照完勝；但細細一想應該是心里戰術吧，客戶對單卷打2048個快照可以干什么呢。細細一想，可能控制器能否支持大型機、QoS、持續鏡像、是否數控分離、是否為Active-Active工作模式反而更加有價值些，畢竟負載均衡和故障實時切換在一定程度上能保證客戶數據資產安全和用戶體驗。

云的時代已經來臨了，在云上，客戶以后可能不再關心底層存儲盒子是什么，是哪個廠商的，提供的IP SAN和是FC SAN，客戶關注的是所需要的SLA能否滿足，是否可以通過友好的租戶Portal去申請需要的資源，然而為了滿足不同SLA要求，底層設備可以服務器，性能可以通過WebSale擴展能力滿足，可靠性可以通過云主機雙活滿足，網絡和安全可以通過軟件或硬件SDN實現，運維將進入智能運維。

除了上面談到的存儲架構，傳統存儲發展這么久，廠商廝殺這么久，還留下了那些值得今后更新和借鑒的呢？