[[269530]]

 1.集群路由器產生的原因

集群就是當一個人/物解決不了時，必須集中一群人/物協同工作，集群的概念應用在許多領域。

集群路由技術的產生，主要有兩個直接的原因：

首先，單機容量逐步發展到極限;

其次，超級節點的產生使得網絡結構越趨復雜，運維管理難度加大。

(1)單機容量到達極限

近年來，路由器技術發展很快，容量有了大幅度的提升，具體表現為槽位數量的增多、每槽交換能力的提升以及板卡端口密度的不斷提高。設備廠商每年推出的新路由器，都是朝著這個方向發展。單槽位處理能力從原有40G、100G到400G，目前主流的廠商均支持單槽位1T。

對于核心層路由器來說，除了具備快速轉發的能力、高安全穩定性之外，更重要的是，容量足夠大、可擴展強。然而，互聯網流量的發展都是遠遠超過設備容量更新的速度?；ヂ摼W流量每12個月增長1倍，而路由器的容量每18個月才增長1倍。對于單臺路由器來說，其擴展是有一定限制的，需考慮光器件的發展成熟度，以及電源、散熱、機房承重等方面，而且也無法超越流量增長的摩爾定律。目前單臺路由器的開發技術已經逐步發展到極限，路由器的發展需尋求一個新的出路。

(2)網絡結構越趨復雜

由于單臺路由器的容量擴展性有限，因此，近年來不斷提出了其他方案來緩解設備壓力。主要有以下兩種：

網絡層次分布式，即部署多個網絡層次，通過逐層匯聚，減輕設備壓力。

節點內部署多臺設備，即增加節點內設備數量，通過負載分擔的方式減輕設備壓力。

兩者都是在單臺路由器不能繼續擴展的情況下，通過改變網絡結構來適應流量的增長，主要差別在于網絡分別在縱向和橫向進行擴展。這兩種方法都在一定程度上緩解了單臺設備容量有限的局面，但隨之而來的卻是網絡復雜度以及內部互聯端口的增加。眾所周知，內部端口是不產生實際經濟效益的，相反還會增加不少投資。而網絡結構的日趨復雜，也增加了運維部門的管理難度，同時也產生了多臺路由器之間如何均衡流量的問題。超級節點就是這樣誕生的，即一個城市同時存在多個網絡層次，而每個網絡層次都有多臺設備(如圖2所示)，網絡連接的復雜程度可想而知。因此，此方案只是目前路由器容量無法繼續擴展的替代方案，是暫時性的，互聯網網絡流量的飛速增長，新興應用的不斷呈現，都在呼喚容量更高，更具擴展性路由器-集群路由器。

2 集群路由器技術概述：

集群路由器：又稱路由器矩陣或多機框互聯(Multi-Chasis)，即通過采用并行交換技術(PPS)，將兩臺或兩臺以上的普通核心路由器通過某種方式連接，共同組成一個多級多平面的交換矩陣系統，使其能夠協同工作，并且對外只表現為一臺邏輯路由器，從而突破單機箱在交換容量、功耗、散熱等方面的限制，平滑擴展為更大容量的路由交換系統。

集群路由器根據組合方式不同，分別對應背對背和n(交換框)拖m(用戶框)兩種。背對背即是將兩臺路由器單機直接互聯，無需通過交換矩陣。這種方法擴展性較差，屬于過渡期的暫代方案。n拖m是指將m臺路由器單機通過1臺或n臺交換矩陣機箱互聯。集群系統內各臺設備之間采用專門的光纖束進行互連。這種方式擴展性較好，是目前路由器集群技術的主流方式，也是未來的發展方向。用戶框可作為一個獨立系統運行， 獨立運行的用戶框即單機系統;多個用戶框通過交換框級聯形成一個邏輯上的系統，對外體現為單臺路由器設備，邏輯系統中的用戶框、交換框及級聯部件統稱為集群系統。

交換框級聯，可行的配置方式包括但不限于：1+4(1個交換框和最多4個用戶框), 2+8(2個交換框和最多8個用戶框), 4+16(4個交換框和最多16個用戶框)，16+64(16個交換框和最多64個用戶框)等，集群路由器要求可以根據需要配置交換框和用戶框數量，如實現2+4的產品形態，即2個交換框和4個用戶框，用戶框的數量根據用戶的需要配置。上圖所示為1+4產品形態的示意圖，一個交換機框跟4 個用戶框連接，用戶框和交換機框之間通過級聯專用接口實現數據平面和控制平面的級聯。

3. 集群技術的交換機制

交換是路由器的核心，直接決定了整個系統的主要性能。在引入交換方式之前，路由器大多采用共享總線的分布式處理技術。共享總線的實現比較簡單，但由于不能避免產生內部沖突，使得高速率總線的設計受到限制，難度也越來越大。交換技術借鑒了ATM交換機的各種優勢，很好地解決了共享總線的不足。一直以來，設備廠商和運用商都在研究和尋求更有效率的交換方案，以解決交換過程中的阻塞問題。

交換結構又分為單級交換和多級交換兩種。

3.1　單級交換

目前使用較多的單級交換結構有共享內存和Crossbar兩種。

共享內存結構通過共享輸入和輸出端口存儲器件，減少了對總體存儲空間的需求。分組交換通過指針調度實現，提高了交換容量。共享內存結構相對簡單，交換效率可根據需求不斷優化。共享內存交換結構的交換性能取決于共享內存的存取速率，可擴展性較差，尤其當板卡端口數量較多時，交換效率有所下降。另外，并且共享內存的穩定一般，也直接影響了整個交換體系。

Crossbar是一種嚴格的非阻塞交換結構，輸入輸出之間可建立多條通路。Crossbar交換結構又分為集中式(輸入>輸出)、擴展式(輸入<輸出)和連接式(輸入=輸出)3種。典型的Crossbar采用連接式，即N×N的交叉矩陣。Crossbar使用調度器，根據各輸入點相關的信息，運算調度算法得到輸入和輸出之間的一個匹配，并配置相應交叉點。調度器的效率非常關鍵，決定了Crossbar的交換速率，因此調度算法必須高度完善。

但Crossbar同樣存在擴展性的問題，即交換矩陣的交叉點會隨著輸入輸出數量的增多呈指數增長。為維持無阻塞交換，需不斷完善和改進調度算法，代價是開發的技術成本越來越高。另外，Crossbar也同樣不能避免排隊仲裁，傳輸效率受到一定影響和限制。但相比共享內存結構，Crossbar效率和擴展性都比較好，目前大部分高端路由器都使用Crossbar交換結構。

共享內存和Crossbar都屬于單級交換結構的范疇。單級交換結構由于受到技術上的各種限制，可擴展性畢竟不夠完善，而且由于無法避免仲裁機制，容易形成瓶頸。因此，單級交換結構不是未來大容量路由器的發展方向，需逐步擴展至多級交換結構。

3.2　多級交換

多級交換通過多個獨立的交換矩陣，組成一個多級多平面交換矩陣。每個平面配置獨立的仲裁器，避免了仲裁器瓶頸問題。多級交換大大增強了系統擴展能力，目前路由器集群都是采用多級交換結構。

多級交換結構的基本組成單位叫交換單元，每個交換單元具有輸入和輸出功能。各個交換單元通過一定的邏輯順序相互連接，形成一個巨大的、可擴展的交換網絡。多級交換結構的形式有很多種，包括Clos、Banyan、Butterfly和Benes等，各種交換結構的不同主要在于交換單元的互聯方式。多級交換結構又可分為有阻塞和無阻塞兩種，其中無阻塞交換又分為嚴格無阻塞、可重排無阻塞和廣義無阻塞3種。

嚴格無阻塞交換是指只要這個連接的起點和終點是空閑的，任何時刻都可以在交換網絡中建立一個連接;

可重排無阻塞網絡是指只要某個連接的起點、終點是空閑的，任何時刻都可以在交換網絡中直接或間接對已有的連接重新選路來建立一個連接;

廣義無阻塞網絡是指在順序建立連接時按照一定的規則選路，那么也可以在任何時刻建立連接。

Benes屬于可重排無阻塞網絡。Benes使用方形交換單元(輸入輸出端口數相同)。一個典型的3級Benes N*N交換結構可以在每個輸入端和每個輸出端之間形成n個可能的通路。Benes輸出可以擴展至任意奇數級。Benes的主要優點是實現簡單，缺點是建立連接時需要重新選路，會增加數據傳輸時延。目前Cisco的CRS集群路由器系統采用此方案。

Clos屬于嚴格無阻塞方式，是Benes的延伸，由非方形交換單元組成。Clos交換結構在任一輸入與輸出之間存在多條可達路徑。要保證嚴格的無阻塞，Clos必須滿足以下條件，即m>=2n-1，其中m是第二級的交換單元數，n是***級單元的入線數和第三級單元的出線數。典型的Clos結構有3級。

Clos的優點在于網絡結構清晰，傳輸時延較低。但是，為了增加容量和降低阻塞，需大量上調m和n的數量，將導致技術成本和實現復雜度的增加。Clos適合于在大型網絡設計中使用，通過使用較小的交換結構簡化網絡層次，另外可大大減少構建無阻塞交換結構所需要的交叉點，降低構建大型交換網絡的成本。

除了思科外的廠家如HW、ZTE、Juniper均采用的CLOS交換網絡做數據平面的集群。

4.集成路由器部署帶來的好處

路由器集群技術通過集中化、一體化的控制管理，使集群系統各臺路由器單機之間能夠很好地協同工作，極大的擴展了路由器的容量，從而突破了單機在開發技術工藝上的限制。在成本方面，由于集群系統中各臺路由器通過高速光纖互連，節省了額外的內部互聯端口，大大減少了投資。更為重要的是，由于集群路由器對外僅體現為一臺路由器，使得網絡拓撲和路由策略變得簡單和清晰，維護也更加方便快捷。