網(wǎng)絡已經(jīng)成為企業(yè)IT運行的基石，隨著IT業(yè)務的不斷發(fā)展，企業(yè)的基礎網(wǎng)絡架構(gòu)也不斷調(diào)整和演化，以支持上層不斷變化的應用要求。

在傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡的性能、安全、永續(xù)基礎上，隨著企業(yè)IT應用的展開，業(yè)務類型快速增長,運行模式不斷變化，基礎網(wǎng)絡需要不斷變化結(jié)構(gòu)、不斷擴展以適應這些變化，這給運維帶來極大壓力。傳統(tǒng)的網(wǎng)絡規(guī)劃設計依據(jù)高可靠思路，形成了冗余復雜的網(wǎng)狀網(wǎng)結(jié)構(gòu)，如圖1所示。

圖1 企業(yè)數(shù)據(jù)中心IT基礎架構(gòu)網(wǎng)狀網(wǎng)

結(jié)構(gòu)化網(wǎng)狀網(wǎng)的物理拓撲在保持高可靠、故障容錯、提升性能上有著極好的優(yōu)勢，是通用設計規(guī)則。這樣一種依賴于純物理冗余拓撲的架構(gòu)，在實際的運行維護中卻同時也承擔了極其繁冗的工作量。

多環(huán)的二層接入、Full Mesh的路由互聯(lián)，網(wǎng)絡中各種鏈路狀態(tài)變化、節(jié)點運行故障都會引起預先規(guī)劃配置狀態(tài)的變遷，帶來運維診斷的復雜性；而應用的擴容、遷移對網(wǎng)絡涉及更多的改造，復雜的網(wǎng)絡環(huán)境下甚至可能影響無關業(yè)務系統(tǒng)的正常運行。

因此，傳統(tǒng)網(wǎng)絡技術在支撐業(yè)務發(fā)展的同時，對運維人員提出的挑戰(zhàn)是越來越嚴峻的。
隨著上層應用不斷發(fā)展，虛擬化技術、大規(guī)模集群技術廣泛應用到企業(yè)IT中，作為底層基礎架構(gòu)的網(wǎng)絡，也進入新一輪技術革新時期。H3C IRF2以極大簡化網(wǎng)絡邏輯架構(gòu)、整合物理節(jié)點、支撐上層應用快速變化為目標，實現(xiàn)IT網(wǎng)絡運行的簡捷化，改變了傳統(tǒng)網(wǎng)絡規(guī)劃與設計的繁冗規(guī)則。#p#

1.數(shù)據(jù)中心的應用架構(gòu)與服務器網(wǎng)絡

對于上層應用系統(tǒng)而言，當前主流的業(yè)務架構(gòu)主要基于C/S與B/S架構(gòu)，從部署上，展現(xiàn)為多層架構(gòu)的方式，如圖2所示，常見應用兩層、三層、四層的部署方式都有，依賴于服務器處理能力、業(yè)務要求和性能、擴展性等多種因素。

圖2 多層應用架構(gòu)

基礎網(wǎng)絡的構(gòu)建是為上層應用服務，因此，針對應用系統(tǒng)的不同要求，數(shù)據(jù)中心服務器區(qū)的網(wǎng)絡架構(gòu)提供了多種適應結(jié)構(gòu)，圖3展示了四種H3C提供的常用網(wǎng)絡拓撲結(jié)構(gòu)：

圖3 多種數(shù)據(jù)中心ServerFarm結(jié)構(gòu)

根據(jù)H3C的數(shù)據(jù)中心架構(gòu)理解和產(chǎn)品組合能力，可提供獨立的網(wǎng)絡、安全、優(yōu)化設備組網(wǎng)，也可以提供基于框式交換平臺集成安全、優(yōu)化的網(wǎng)絡架構(gòu)。ServerFarm 1和2是一種扁平化架構(gòu)，多層應用服務器(WEB、APP、DB)群共用同一網(wǎng)關，適用于一般規(guī)模服務器群，可擴展性有一定限制，網(wǎng)關層控制策略比較復雜；ServerFarm 3和4是一種展開式架構(gòu)，與應用的多層訪問架構(gòu)保持了一致性，具有更清晰的數(shù)據(jù)流路徑，更強的業(yè)務擴展能力和良好的策略控制能力。

2.數(shù)據(jù)中心ServerFarm 交換網(wǎng)絡IRF2虛擬化設計方案

對于傳統(tǒng)的數(shù)據(jù)中心服務器區(qū)交換網(wǎng)絡(如圖4所示)，針對無環(huán)設計和有環(huán)設計有多種選擇方案。

圖4 傳統(tǒng)的多種服務器區(qū)接入網(wǎng)絡拓撲

在數(shù)據(jù)中心更為通用的是采用環(huán)路接入拓撲模式，以生成樹協(xié)議(MSTP)配合***跳網(wǎng)關冗余協(xié)議(VRRP)提供服務器接入的可靠性。同時，服務器以多網(wǎng)卡連接網(wǎng)絡以進一步提供冗余能力。圖5為常用的三種接入設計方法，雖然這幾種方式已經(jīng)成為數(shù)據(jù)中心接入設計的***實踐，但從網(wǎng)絡的拓撲設計、環(huán)路規(guī)避、冗余備份等角度考慮，設計過程是極其復雜的。如VLAN的規(guī)劃、生成樹實例的拓撲阻塞、網(wǎng)關冗余選擇，包括相應技術的參數(shù)選擇、配置，故障切換的預期判斷等，需要一套十分詳細的流程，而在后期網(wǎng)絡運行維護過程中面臨的壓力和復雜度是顯而易見的。

圖5 生成樹+VRRP的設計方式

引入虛擬化設計方式之后，在不改變傳統(tǒng)設計的網(wǎng)絡物理拓撲、保證現(xiàn)有布線方式的前提下，以IRF2的技術實現(xiàn)網(wǎng)絡各層的橫向整合，即將交換網(wǎng)絡每一層的兩臺、多臺物理設備使用IRF2技術形成一個統(tǒng)一的交換架構(gòu)，減少了邏輯的設備數(shù)量，如圖6所示

圖6 IRF2對網(wǎng)絡橫向虛擬化整合過程

在虛擬化整合過程中，被整合設備的互聯(lián)電纜成為IRF2的內(nèi)部互聯(lián)電纜，對IRF2系統(tǒng)外部就不可見了.原來兩臺設備之間的捆綁互聯(lián)端口歸屬的VLAN三層接口網(wǎng)段均能被其它設備可達(如ping通)，而歸屬到IRF2系統(tǒng)內(nèi)部后，不對互聯(lián)電纜接口進行IP配置，因此隔離于IRF2外部網(wǎng)絡。

虛擬化整合后的IRF2系統(tǒng)，對外表現(xiàn)為單臺物理設備，因此，在保持基本網(wǎng)絡互聯(lián)條件下(如圖6左圖所示)，可將一對IRF2系統(tǒng)之間的多條線纜進行鏈路捆綁聚合動作(如圖6中圖所示)，從而將不同網(wǎng)絡層之間的網(wǎng)狀互聯(lián)簡化成單條邏輯鏈路(如圖6右圖所示)。

以IRF2組網(wǎng)后，整個網(wǎng)絡的配置管理情況發(fā)生了很大變化。原來的多臺物理設備組成為一臺邏輯設備，所有IRF2成員可以統(tǒng)一管理配置。因為只有一個管理IP，所以不需要登陸到不同設備各自管理運維，可以直接對所有端口、VLAN等特性進行配置，如圖7所示。

圖7 IRF2組網(wǎng)的網(wǎng)絡配置管理方式

對于接入層設備來說，以Top of Rack接入為例：一般使用兩臺接入交換機對同類業(yè)務系統(tǒng)服務器進行接入，以滿足服務器雙網(wǎng)卡的上行要求。使用IRF2進行網(wǎng)絡簡化時，對網(wǎng)絡匯聚層或服務器網(wǎng)關層的虛擬化整合是必要的，因為這是消除生成樹和VRRP的關鍵網(wǎng)絡層。對接入層網(wǎng)絡來說，有如圖8所示的兩種選擇：

圖8 接入層不同的IRF2應對方式

***種，保持原有網(wǎng)絡拓撲和設備獨立性不變，如圖8方式A，通過IRF2將匯聚網(wǎng)關層虛擬化，Top of Rack交換機雙歸屬上聯(lián)的兩條鏈路直接進行捆綁，消除了環(huán)路，服務器網(wǎng)卡歸屬到獨立的兩臺交換機。

第二種，在Top of Rack兩臺交換機之間增加IRF2互聯(lián)線纜，使得接入層也實現(xiàn)虛擬化整合，如圖8方式B，服務器雙網(wǎng)卡連接的兩臺交換機虛擬化成一臺，這兩臺交換機的所有上聯(lián)線纜可實現(xiàn)跨設備的捆綁，進一步減少邏輯鏈路數(shù)。方式B還可實現(xiàn)更多的接入層設備整合，網(wǎng)絡物理設備與邏輯節(jié)點的整合比可大大超過2:1。#p#

對于服務器而言，上行到IRF2系統(tǒng)的所有網(wǎng)卡如同接入一臺交換機，可滿足各種工作模式，特別是服務器的雙網(wǎng)卡捆綁方式，如圖9所示。除了支持網(wǎng)卡主備模式，對于網(wǎng)卡需要捆綁(LACP功能)的業(yè)務要求，由于IRF2本身可支持跨設備的鏈路聚合，因此服務器多網(wǎng)卡上行到一個IRF2系統(tǒng)的不同交換機均可實現(xiàn)捆綁，實現(xiàn)網(wǎng)卡吞吐帶寬增強和提升可靠性。

圖9 基于IRF2的服務器多網(wǎng)卡適配

服務器雙網(wǎng)卡接入網(wǎng)絡有多種模式：網(wǎng)卡的主備、網(wǎng)卡雙活。雙網(wǎng)卡主備方式下，服務器兩個網(wǎng)卡分別接入IRF2的不同交換機成員，實際等同于接在同一臺交換機下，因此網(wǎng)卡鏈路狀態(tài)發(fā)生變化時，IRF2系統(tǒng)能夠立刻感知，網(wǎng)卡業(yè)務切換后，對交換機IRF2系統(tǒng)只是表現(xiàn)為網(wǎng)卡地址遷移到同一臺交換機的不同物理端口。由于IRF2交換系統(tǒng)對上層網(wǎng)絡隔離了地址端口遷移(對上層設備來說，服務器地址總是在與接入層IRF2的上行鏈路對應的網(wǎng)絡接口下，并沒有漂移)，表項變化只在接入層設備處理，因此網(wǎng)絡能夠快速適應網(wǎng)卡流量切換。網(wǎng)卡雙活模式下，兩塊網(wǎng)卡可以工作在聚合捆綁方式，則可將雙網(wǎng)卡分別連接IRF2的不同交換機成員接入端口，并可以基于IRF2將不同交換機上的端口進行聚合捆綁，由于雙網(wǎng)卡具有相同的MAC和IP地址，而IRF2將不同交換機端口聚合捆綁后，聚合組內(nèi)不同端口下不會存在地址漂移，網(wǎng)卡地址在IRF2上只被作為分布式設備的虛擬聚合鏈路下的一個地址，優(yōu)化了雙網(wǎng)卡組網(wǎng)方式。

在實施數(shù)據(jù)中心IRF2架構(gòu)中，VLAN和IP的設計變得十分簡單，在網(wǎng)絡各層互聯(lián)上使用鏈路捆綁方式在多條物理鏈路上虛擬出了一個聚合層，也就是捆綁后的邏輯鏈路，因此聚合組替代了原來的物理端口成為VLAN設計的考慮因素，因為聚合/捆綁后的交換機端口群(可能分布在IRF2不同的成員上)被視為單個邏輯端口使用。

由于網(wǎng)絡采用IRF2設計中，已經(jīng)消除了環(huán)路，在不考慮生成樹協(xié)議條件下，VLAN的設計在滿足業(yè)務連通性上已經(jīng)十分簡單。

圖10 基于IRF2的VLAN、IP設計

如圖10所示，在接入層配置了A-H共8個接入VLAN，用于數(shù)據(jù)中心8類服務器接入，分屬到兩個業(yè)務網(wǎng)關層。核心層與網(wǎng)關層(匯聚層)均采用IRF2實現(xiàn)每層兩臺設備的虛擬化整合，接入層分別采用兩種方式：左邊模塊Top of  Rack接入不進行IRF2虛擬化；右邊模塊采用IRF2虛擬化橫向整合。

對于VLAN A，服務器上聯(lián)到兩臺Top of Rack交換機，每臺交換機雙上行捆綁到網(wǎng)關，邏輯上形成了一個倒V的拓撲，VLAN A在網(wǎng)關的IRF2系統(tǒng)上只需配置一個IP地址10.1.1.1/24。

對于VLAN H，由于右邊模塊下的Top of Rack交換機以IRF2形式接入服務器，服務器的雙網(wǎng)卡所在的兩個端口只表現(xiàn)為一臺交換機同一VLAN H的兩個端口，上行只有一個邏輯鏈路，因此VLAN H簡單地通過此鏈路終結(jié)在匯聚層網(wǎng)關上，只需配置一個IP地址10.2.4.1/24.
核心層與匯聚層之間的連接也簡化為只通過一個VLAN進行三層互聯(lián)了，將本來full mesh全連接的網(wǎng)狀網(wǎng)變成了簡單的單邏輯鏈路連接。

圖11 IRF2網(wǎng)絡架構(gòu)對路由設計的簡化

圖11左圖的網(wǎng)絡結(jié)構(gòu)中，三層互聯(lián)鏈路成網(wǎng)狀，所需網(wǎng)段多，且一般一條物理鏈路對應一個互聯(lián)網(wǎng)段，在運行動態(tài)路由、使能接入環(huán)路生成樹條件下，任意物理鏈路的故障(Up/Down)都會引起網(wǎng)絡路由的振蕩、VRRP狀態(tài)變化或生成樹的重新計算，同時可能引起應用系統(tǒng)業(yè)務流的中斷(在協(xié)議計算收斂條件下的業(yè)務恢復時間可達到數(shù)秒甚至分鐘級)。

而圖11右圖采用IRF2的網(wǎng)絡結(jié)構(gòu)，網(wǎng)絡節(jié)點之間以多鏈路捆綁組模式互聯(lián)(普通方式下為1～4條物理鏈路)，捆綁組中任意一條物理鏈路發(fā)生故障(引起Up/Down)，由于整個捆綁組在邏輯上仍然有效，接口狀態(tài)正常，整個網(wǎng)絡拓撲沒有變化，因此不會引發(fā)上層路由協(xié)議重計算，極大保持了網(wǎng)絡穩(wěn)定運行。同時基于IRF2的網(wǎng)絡架構(gòu)所需互聯(lián)IP大量減少，減少了網(wǎng)絡可管理的IP對象，也消除了潛在隱患。此結(jié)構(gòu)中，動態(tài)路由設計面對的網(wǎng)絡區(qū)域，也因架構(gòu)橫向整合而使得動態(tài)路由區(qū)域可能變成了簡單的鏈狀，參與路由計算的節(jié)點大量減少，設計上更簡單和易穩(wěn)定。

圖12 面向server farm多層應用架構(gòu)的IRF2組網(wǎng)

對于數(shù)據(jù)中心應用的多層架構(gòu)，按圖5的組網(wǎng)模式，采用IRF2技術進行改良。如圖12所示，端到端的IRF2設計可以將大規(guī)模數(shù)據(jù)中心網(wǎng)狀網(wǎng)變成線性/樹狀輻射網(wǎng)，在網(wǎng)絡每一層具有靈活擴展能力、簡單配置管理方式，提升網(wǎng)絡的運行管理效率。

對于數(shù)據(jù)中心已有核心，擴建業(yè)務模塊的網(wǎng)絡設計，可在匯聚/網(wǎng)關層以下的網(wǎng)絡層次使用IRF2技術進行構(gòu)建。

圖13 在現(xiàn)有數(shù)據(jù)中心采用IRF2架構(gòu)擴建新業(yè)務模塊

如圖13左圖，新建業(yè)務模塊的網(wǎng)絡連接與已有業(yè)務模塊區(qū)可采用相同連接拓撲，新建業(yè)務模塊通過IRF2消除本模塊內(nèi)的環(huán)路設計，網(wǎng)關/匯聚節(jié)點創(chuàng)建兩個接口分別與核心兩臺設備連接，如圖15右圖，出入此新建業(yè)務模塊的訪問流量可通過兩條(或多條)等價路由實現(xiàn)連通。#p#

3.如何通過IRF2網(wǎng)絡構(gòu)建適應VMotion的虛擬化應用

VMware的VMotion是當前服務器虛擬化技術的熱點內(nèi)容，主要好處是解決了業(yè)務在運行過程中的動態(tài)遷移問題，使得應用可以根據(jù)計算容量需求動態(tài)調(diào)整計算資源。

圖14 VMoiton過程示意

如圖14所示，在VMotion過程中，選擇好目的物理服務器后，啟動遷移流程，VMWare虛擬系統(tǒng)將處于工作運行中的虛擬機(VM)的實時狀態(tài)，包括內(nèi)存、寄存器狀態(tài)等信息同步拷貝到目的VM，并激活目的VM從而完成遷移。

VMotion過程對于網(wǎng)絡設計本無特殊要求，但遷移的范圍要求網(wǎng)絡二層連通，即源VM與目的VM在同一VLAN內(nèi)，這就要求VM虛擬化應用所在的網(wǎng)絡是一個二層網(wǎng)絡。如圖15所示，VMotion的網(wǎng)絡中存在三種VLAN：管理VLAN如VLAN 10，遷移VMotion VLAN如VLAN 20，VM業(yè)務VLAN如VLAN 105/106。

圖15 VMotion的二層VLAN類型

傳統(tǒng)MSTP的二層設計在小范圍網(wǎng)絡環(huán)境也基本滿足VMotion的應用要求，但是隨著VM 二層域規(guī)模的不斷擴大，有些企業(yè)甚至要建數(shù)據(jù)中心范圍內(nèi)的二層網(wǎng)絡，如果采用MSTP+VRRP構(gòu)建數(shù)據(jù)中心網(wǎng)絡，不論是前期規(guī)劃還是建成后的運營都會極其復雜。

圖16 基于IRF2的大規(guī)模VMotion網(wǎng)絡架構(gòu)

圖16提供了端到端全面構(gòu)建VMotion網(wǎng)絡的方案。由于IRF2消除了環(huán)路和冗余網(wǎng)關協(xié)議帶來的問題，整個網(wǎng)絡可搭建一個大范圍的二層互聯(lián)平臺，在此平臺上合理部署相應的管理VLAN、VMotion VLAN和VM業(yè)務VLAN即可滿足虛擬化業(yè)務需求。

在虛擬化環(huán)境中遇到的另一個問題是安全策略問題，有外部流量訪問VM的安全策略，也有VM之間的安全策略。對此存在不同的部署意見，有的認為安全策略需要部署到服務器內(nèi)部的vSwitch上，有的建議由安全設備如防火墻集中執(zhí)行。

安全策略部署在服務器內(nèi)的vsSwitch上，便于做到控制精細，并且在VM的遷移過程中，相應的控制策略也能跟隨虛擬化系統(tǒng)軟件的遷移功能隨著VM到達相應的vSwitch。但根據(jù)思博倫測試專家的觀點，策略在vSwitch上部署過多對于vSwitch性能有一定影響。同時，對大二層網(wǎng)絡，策略過于分散，不利于運行維護。并且在當前企業(yè)數(shù)據(jù)中心運維架構(gòu)中，服務器虛擬化帶來的Switch管理歸屬成為問題。(是網(wǎng)絡運營部門？還是應用運營部門？)
另一種集中式的控制策略部署在網(wǎng)絡設備上。對IRF2構(gòu)建的網(wǎng)絡，如果對外部訪問VM的流量進行策略控制，則可在所有VM的網(wǎng)關層設置入方向的ACL控制策略，如圖16所示，控制集中、便于策略維護。

IRF2虛擬化在數(shù)據(jù)中心建設的實施已經(jīng)是一種必然趨勢，***實踐的設計是落實IRF2的有效途徑。IRF2并沒有完全摒棄傳統(tǒng)設計方法，而是對數(shù)據(jù)中心總體網(wǎng)絡架構(gòu)的優(yōu)化，同時，IRF2的實施結(jié)果也是實現(xiàn)數(shù)據(jù)中心的虛擬化價值。