【51CTO.com綜合報道】當(dāng)前云計算服務(wù)發(fā)展迅速，超大規(guī)模、超高性能、靈活與高可擴展成為云計算業(yè)務(wù)模式的特征和基本要求，傳統(tǒng)技術(shù)基礎(chǔ)的交換機和路由器的交換架構(gòu)已不能適用這種大規(guī)模、高密集的IT集散模式，而面向統(tǒng)一交換架構(gòu)和業(yè)務(wù)融合、更大容量和帶寬、更高性能和擴展性、更精細(xì)的QoS保證、更高的可靠性和容錯性能、智能化和易于管理、綠色節(jié)能等技術(shù)方向的全新基礎(chǔ)網(wǎng)絡(luò)交換架構(gòu)，才能滿足不斷涌現(xiàn)的各種新型業(yè)務(wù)和應(yīng)用、改進(jìn)用戶體驗，并持續(xù)降低單位帶寬成本。網(wǎng)絡(luò)技術(shù)架構(gòu)的進(jìn)步反過來進(jìn)一步推進(jìn)云計算的普及和良性發(fā)展。

毫不夸張地說，交換架構(gòu)是網(wǎng)絡(luò)設(shè)備的核心，就像人的心臟一樣重要。交換架構(gòu)決定了一臺設(shè)備的容量、性能、擴展性以及QoS等諸多關(guān)鍵屬性。在其短短二十幾年的歷史中，先后出現(xiàn)了共享總線交換、共享存儲交換、Crossbar矩陣交換和基于動態(tài)路由的CLOS交換架構(gòu)等不同形態(tài)。對于代表業(yè)界發(fā)展水平的大容量或超大容量的機架式網(wǎng)絡(luò)設(shè)備而言，通常采用Crossbar矩陣交換或CLOS交換架構(gòu)，共享緩存交換則應(yīng)用于其線卡作為全分布式業(yè)務(wù)處理和轉(zhuǎn)發(fā)的組成部件。

一、 數(shù)據(jù)中心對新一代交換架構(gòu)的要求

交換架構(gòu)的一般模型如圖1所示，在邏輯上由數(shù)據(jù)通道資源、控制通道資源這兩個相輔相成的部分構(gòu)成。數(shù)據(jù)通道資源具體包括交換網(wǎng)及其端口帶寬、交換網(wǎng)適配器（FA：Fabric Adaptor）、流量管理器（TM：Traffic Manager）、緩存（Buffering）以及用于互聯(lián)的高速總線。控制通道資源則包括用于資源分配、業(yè)務(wù)調(diào)度、擁塞管理的流控單元、調(diào)度器（Scheduler），調(diào)度器有時也叫仲裁器（Arbiter）。完整意義上的交換架構(gòu)還包括報文處理器（PP：Packet Processor）或網(wǎng)絡(luò)處理器（NP：Network Processor）。

圖1  交換架構(gòu)一般模型

數(shù)據(jù)中心作為面向應(yīng)用的綜合業(yè)務(wù)平臺和未來云計算的核心基礎(chǔ)架構(gòu)，對網(wǎng)絡(luò)設(shè)備的交換架構(gòu)提出了更全面、更苛刻的要求，主要包括：支持統(tǒng)一交換架構(gòu)，大容量及高擴展性，轉(zhuǎn)發(fā)性能，業(yè)務(wù)調(diào)度和精細(xì)化QoS，彈性。

1、 支持統(tǒng)一交換架構(gòu)（Unified Switch Fabric）

數(shù)據(jù)中心目前存在相對獨立的三張網(wǎng)：數(shù)據(jù)網(wǎng)（Data）、存儲網(wǎng)（SAN）和高性能計算網(wǎng)（HPC）。為了便于未來的業(yè)務(wù)整合和服務(wù)提供、簡化管理、降低建設(shè)成本和運營維護(hù)成本，三網(wǎng)將逐步走向融合。要求網(wǎng)絡(luò)設(shè)備的交換架構(gòu)能方便地擴展和支持FCoE、FC等接口及其轉(zhuǎn)發(fā)，從而與存儲網(wǎng)絡(luò)無縫融合；支持CEE（Convergence Enhanced Ethernet）增強型以太網(wǎng)等新型接口，使以太網(wǎng)從傳統(tǒng)的"盡力而為（Best-effort）"變成更為成熟的"無損網(wǎng)絡(luò)（Lossless）"。

2、 大容量及高擴展性（Capacity & Scalability）

超寬帶時代正在來臨，以Youtube、iTunes、Facebook、GoogleEarth、網(wǎng)真系統(tǒng)、移動視頻等為代表的視頻流、音頻流、社交網(wǎng)絡(luò)、P2P、多媒體等業(yè)務(wù)正以約70%的年增長速度發(fā)展，對未來網(wǎng)絡(luò)提出了近乎無止境的帶寬需求。要求交換機具有大容量和優(yōu)異的可擴展性，即隨著業(yè)務(wù)拓展而逐步擴展端口數(shù)、端口速率，從而提高端口容量。擴展性還包括能根據(jù)業(yè)務(wù)需要擴展新的端口類型，支持網(wǎng)絡(luò)資源虛擬化，支持集群系統(tǒng)等。

作為衡量系統(tǒng)交換能力和未來可擴展能力關(guān)鍵指標(biāo)，交換機的交換容量相當(dāng)于汽車的排量指標(biāo)。新一代機架式數(shù)據(jù)中心交換機交換容量在1～10Tbps級別，集群系統(tǒng)更高達(dá)幾十Tbps。端口容量則指產(chǎn)品當(dāng)前版本所能提供的最大網(wǎng)絡(luò)端口容量，由網(wǎng)絡(luò)端口速率乘以相應(yīng)的線速端口數(shù)得出，表征了產(chǎn)品當(dāng)前實際所能支持的線速轉(zhuǎn)發(fā)能力。同樣交換容量的產(chǎn)品，在不同版本和階段，可能有不同的端口容量；同樣交換容量的產(chǎn)品，由于交換架構(gòu)總開銷不同，所能支持的端口容量也會不同。

端口速率：新一代架構(gòu)要求除支持千兆、萬兆以太網(wǎng)端口之外，還要求每槽位能平滑支持一到多個40Gbps和100Gbps端口，這是帶寬發(fā)展過程中一個質(zhì)的飛躍。

3、 轉(zhuǎn)發(fā)性能

線速轉(zhuǎn)發(fā)性能：通常是指64字節(jié)小包的線速轉(zhuǎn)發(fā)能力，表征了系統(tǒng)處理報文頭的能力，在相同的端口流量下，64字節(jié)小包要求系統(tǒng)在單位時間內(nèi)處理更多的報文數(shù)。轉(zhuǎn)發(fā)性能還要關(guān)注線速一致性，即大包小包都能線速，都不丟包；Pair模式、Full Mesh模式都能線速轉(zhuǎn)發(fā)。

轉(zhuǎn)發(fā)時延及時延抖動：目前存儲轉(zhuǎn)發(fā)技術(shù)的端口到端口時延在幾微秒到幾十微秒，可滿足絕大多數(shù)應(yīng)用場合。Cut-through轉(zhuǎn)發(fā)時延可達(dá)到1微秒以下，主要用于少數(shù)對時延非常敏感的緊耦合高性能計算。時延抖動則指時延的一致性、時延可預(yù)測性，VoIP、視頻等實時業(yè)務(wù)通常要求低時延和時延一致性。

4、 業(yè)務(wù)調(diào)度和精細(xì)化QoS

近年來帶寬需求的年增長達(dá)到50～70%，而帶寬供給年增長通常在30%。資源總是有限的，不可能給所有用戶、所有業(yè)務(wù)提供足夠的帶寬，從而導(dǎo)致實際的網(wǎng)絡(luò)是一個存在擁塞的網(wǎng)絡(luò)。網(wǎng)絡(luò)設(shè)備需要提供更完善和精細(xì)的QoS支持，即根據(jù)不同用戶不同業(yè)務(wù)的SLA要求，提供相應(yīng)有保證或可預(yù)測的帶寬、丟包率、突發(fā)緩存能力、時延、時延抖動等指標(biāo)承諾。

業(yè)務(wù)調(diào)度和隊列（Scheduling & Queuing）：沒有業(yè)務(wù)調(diào)度的交換架構(gòu)就像沒有紅綠燈的十字路口，容易發(fā)生碰撞和事故，談不上QoS。粗放式調(diào)度就像每個方向有一個車道，有單一圓形紅綠燈的十字路口，比沒有紅綠燈有大幅改善，但容易阻塞。而精細(xì)化調(diào)度則好比每個方向有三個車道（左轉(zhuǎn)、直行、右轉(zhuǎn)），紅綠燈由三個對應(yīng)的方向指示箭頭組成（左轉(zhuǎn)、直行、右轉(zhuǎn)箭頭），這種調(diào)度顯然效率更高、更加有序了。

在交換機里，車道就好比隊列，紅綠燈就好比調(diào)度器。隊列越多，就可以對流量進(jìn)行更精細(xì)化的管理和調(diào)度，使到不同出口、不同優(yōu)先級的業(yè)務(wù)轉(zhuǎn)發(fā)互不影響，消除頭阻塞。隊列越多，調(diào)度器也越復(fù)雜，設(shè)計復(fù)雜度也高，有的設(shè)備還支持層次化調(diào)度（H-QoS）。所能支持隊列數(shù)目也是網(wǎng)絡(luò)設(shè)備的關(guān)鍵指標(biāo)之一，一般設(shè)備支持十幾、幾十到幾百條隊列不等，少數(shù)高端產(chǎn)品可以支持1K、十幾K或幾十K。

流分類和緩存（Classification & Buffering）：與業(yè)務(wù)調(diào)度緊密相關(guān)的就是流分類和緩存。流分類是對不同用戶和業(yè)務(wù)進(jìn)行識別然后映射到不同的優(yōu)先級和隊列。而沒有緩存或緩存太小，再好的調(diào)度也形同虛設(shè)或大打折扣。隨著應(yīng)用越來越復(fù)雜，流量突發(fā)越來越大，越來越頻繁（比如搜索業(yè)務(wù)），足夠大的緩存對新一代數(shù)據(jù)中心至關(guān)重要。

5、 交換架構(gòu)的彈性（Resiliency）

彈性是指部件出現(xiàn)故障、或人為操作失誤時，能夠自動檢測到，并對故障進(jìn)行隔離，從而讓系統(tǒng)功能性能不受損失或盡可能少受損失（Graceful Degradation）。包括冗余性（Redundancy）和容錯性（Fault Tolerance）。采用與主控板物理上獨立的N+1交換網(wǎng)板，即轉(zhuǎn)發(fā)平面和控制平面物理上分離有利于進(jìn)一步提高系統(tǒng)的彈性。#p#

二、 傳統(tǒng)的基于CIOQ的Crossbar交換架構(gòu)

基于CIOQ的Crossbar交換架構(gòu)在上世紀(jì)90年代出現(xiàn)。如圖2所示，該架構(gòu)包含一到多個并行工作的無緩存Crossbar芯片，每個Crossbar芯片通過交換網(wǎng)端口FP（Fabric Port）連接到所有輸入端口對應(yīng)的FA端口和所有輸出端口對應(yīng)的交FA端口；業(yè)務(wù)調(diào)度通常采用集中仲裁器，連到所有的輸入輸出FA芯片和Crossbar芯片；出口FA定時或?qū)崟r地向仲裁器報告出口擁塞情況。一次典型的交換過程包含三個步驟：（1）輸入端口發(fā)送業(yè)務(wù)前，入口FA先要向仲裁器請求發(fā)送（Request to transmit）;（2）仲裁器根據(jù)輸出端口隊列擁塞情況，給入口FA發(fā)送允許發(fā)送（Request granted）；（3）業(yè)務(wù)通過交換網(wǎng)轉(zhuǎn)發(fā)到輸出端口。

在入口方向，緩存采用VoQ（Virtual output Queuing：虛擬輸出隊列）方式給到不同目的輸出端口、不同優(yōu)先級的業(yè)務(wù)流分配相應(yīng)的隊列，對入口流量進(jìn)行緩沖。在出口方向，也有一個緩存，用以吸收交換網(wǎng)過來的突發(fā)流量。因此稱之為CIOQ（Combined Input Output Queuing：組合輸入輸出隊列）。

圖2   基于CIOQ的Crossbar交換架構(gòu)

由于是集中調(diào)度，所以仲裁器的調(diào)度算法復(fù)雜度很高，性能擴展性較差，系統(tǒng)容量大時調(diào)度器容易形成瓶頸，難以做到精確調(diào)度。

由于是粗放型調(diào)度，所以在出口方向需要放一個比較大的緩存，并做進(jìn)一步調(diào)度，以支持粒度更細(xì)的系統(tǒng)級QoS。為了充分利用出口緩存，需要提高系統(tǒng)加速比，加速比通常達(dá)到1.6～2，提高加速比意味著系統(tǒng)能支持的有效端口容量下降（加速比是指交換網(wǎng)端口速率與實際的網(wǎng)絡(luò)端口速率的比值）。

有些產(chǎn)品交換架構(gòu)在幾何拓?fù)渖蠈⒍鄠€Crossbar連成與下文描述的CLOS架構(gòu)相類似的形式，并采用靜態(tài)路由方式，即業(yè)務(wù)流進(jìn)入交換網(wǎng)前，根據(jù)源端口指定或基于Hash算法選擇一條路徑。所以，屬于同一條流的所有報文將選擇同一條路徑進(jìn)入交換網(wǎng)。顯然，當(dāng)系統(tǒng)中業(yè)務(wù)流較為單一時，被Hash算法選中的路徑容易形成阻塞，而其它路徑則較為空閑。類似道理，業(yè)務(wù)流從第二級交換到第三級時，也容易形成阻塞。這種架構(gòu)不是嚴(yán)格意義上的無阻塞CLOS交換架構(gòu)，其交換性能與基于CIOQ的Crossbar相當(dāng)。

基于CIOQ的Crossbar同時滿足了較大容量交換和較好的業(yè)務(wù)調(diào)度的需求，是一種比較完善的交換架構(gòu)，交換容量可以從幾百G到幾T，通常支持10G接口但無法支持40G和100G接口。由于交換容量不是很大，交換網(wǎng)通常集成在主控板上，采用1+1主備或負(fù)荷分擔(dān)工作方式。目前市場上基于10G平臺的機架式高端交換機設(shè)備通常采用該架構(gòu)，典型的比如H3C S9500，Cisco C6500。

三、新一代基于動態(tài)路由的CLOS交換架構(gòu)

 CLOS交換架構(gòu)由貝爾實驗室Charles Clos博士在1953年的《無阻塞交換網(wǎng)絡(luò)研究》論文中首次提出，后被廣泛應(yīng)用于TDM網(wǎng)絡(luò)，為紀(jì)念這一重大成果，便以他的名字CLOS命名這一架構(gòu)。近二十年來包交換網(wǎng)絡(luò)的高速發(fā)展，迫切需要超大容量和具備優(yōu)異可擴展性的交換架構(gòu)，CLOS這個古老而新穎的技術(shù)再一次煥發(fā)出旺盛的生命力。

CLOS交換架構(gòu)是一個多級架構(gòu)；在每一級，每個交換單元都和下一級的所有交換單元相連接。一個典型的CLOS交換三級架構(gòu)由（k，n）兩個參數(shù)定義，如圖3所示，參數(shù)k是中間級交換單元的數(shù)量，n表示的是第一級（第三級）交換單元的數(shù)量。第一級和第三級由n個k×k的交換單元組成，中間級由k個n×n的交換單元組成。整個構(gòu)成了k×n的交換網(wǎng)絡(luò)，即該網(wǎng)絡(luò)有k×n個輸入和輸出端口。

對于需要更高容量的交換網(wǎng)，中間級也可以是一個3級的CLOS網(wǎng)絡(luò)（即CLOS網(wǎng)絡(luò)可以遞歸構(gòu)建），比如4個第一（三）級n×n芯片加上2個n×n的第二級芯片可構(gòu)成一個2n×2n的交換網(wǎng)。由于CLOS網(wǎng)絡(luò)的遞歸特性，它理論上具有無與倫比的可擴展性，支持交換機端口數(shù)量、端口速率、系統(tǒng)容量的平滑擴展。

CLOS交換架構(gòu)可以做到嚴(yán)格的無阻塞（Non-blocking）、可重構(gòu)（Re-arrangeable）、可擴展（Scalable）。

圖3  CLOS交換架構(gòu)

CLOS架構(gòu)定義了一種幾何拓?fù)浣Y(jié)構(gòu)，在早期TDM及語音應(yīng)用中，其可重構(gòu)特性通常由軟件計算和配置完成。對于高速包交換系統(tǒng)，大量業(yè)務(wù)流的目的端口在頻繁而快速地變化（如ns級），通過軟件來對轉(zhuǎn)發(fā)路徑進(jìn)行選擇和重配置變得不現(xiàn)實。因此，需要采用近些年專門針對用于包交換系統(tǒng)的CLOS架構(gòu)而設(shè)計的動態(tài)路由方式。

動態(tài)路由關(guān)鍵點在于能負(fù)荷分擔(dān)地均衡利用所有可達(dá)路徑。對于第一級，每個業(yè)務(wù)流可通過Round-robin或隨機方式均勻發(fā)送到k條連到第二級的路徑上（通?；谛旁陌l(fā)送）；到達(dá)第二級的業(yè)務(wù)流將基于信元自路由技術(shù)（Cell-based Self-routing），根據(jù)交換網(wǎng)路由選擇相應(yīng)路徑交換到第三級目的端口。第三級收到所有來自第二級的信元時，把信元重組成報文，并保證報文順序正確。動態(tài)路由方式由此實現(xiàn)了嚴(yán)格的無阻塞交換，并有利于減小加速比從而提高有效端口容量。

動態(tài)路由方式有一個突出優(yōu)點，即平滑支持更高速率的網(wǎng)絡(luò)端口，比如40GE/100GE。這是因為它可以充分利用所有可用路徑形成一個大的數(shù)據(jù)流通道，比如24條3.125Gbps通道可以支持100GE數(shù)據(jù)流。相反，靜態(tài)路由方式則受限于單條路徑的帶寬，比如基于XAUI接口的Crossbar交換，網(wǎng)絡(luò)端口速率最高只能達(dá)到10Gbps，無法支持40GE和100GE。

基于動態(tài)路由的CLOS架構(gòu)，再結(jié)合合適的業(yè)務(wù)調(diào)度機制，就可以支持完善的QoS。采用CLOS交換架構(gòu)的典型設(shè)備有：H3C S12500統(tǒng)一交換架構(gòu)核心交換機，Juniper T1600核心路由器。在2009年2月初，Juniper剛剛發(fā)布了TX-Matrix Plus，通過多框互聯(lián)技術(shù)支持把16臺T1600構(gòu)建成一個25Tbps的無阻塞交換系統(tǒng)，顯示了CLOS架構(gòu)卓越的可擴展性。2004年，Cisco發(fā)布了其路由器旗艦產(chǎn)品CRS-1，采用了三級動態(tài)自路由的Benes交換架構(gòu)，支持72個機架的互聯(lián)，達(dá)到46T/92T的系統(tǒng)容量。Benes交換實質(zhì)上是CLOS交換架構(gòu)的一個特例。

由于CLOS交換系統(tǒng)容量很大，物理實現(xiàn)上，通常采用N+1個獨立的交換網(wǎng)槽位，與主控板控制平面徹底分離，一方面提高了系統(tǒng)容量可擴展性，另一方面極大程度上提高了轉(zhuǎn)發(fā)平面的可靠性，避免了控制平面出現(xiàn)故障或進(jìn)行倒換時對轉(zhuǎn)發(fā)平面的影響。

對于高端機架式交換機和路由器，以基于CIOQ的Crossbar交換架構(gòu)和CLOS交換架構(gòu)為主。其中基于動態(tài)路由的CLOS交換架構(gòu)結(jié)合信元自路由技術(shù)、分布式調(diào)度技術(shù)是目前面向新一代數(shù)據(jù)中心和云計算等多業(yè)務(wù)復(fù)雜應(yīng)用、適用于大容量核心交換機和核心路由器的最先進(jìn)、最完善、最理想的一種交換架構(gòu)。