一、 從流量控制到流量調度

1、廣域網流量與帶寬的矛盾

廣域網覆蓋范圍廣、接入用戶多、承載業(yè)務復雜。隨著政府、企業(yè)等信息化的不斷發(fā)展，尤其是近年來數(shù)據(jù)大集中帶來的業(yè)務整合，高清視頻、IP語音、公共資源平臺等應用上線，推動廣域網數(shù)據(jù)類型、數(shù)據(jù)流量、網絡規(guī)模的快速增加。

相對于園區(qū)網、城域網和數(shù)據(jù)中心，廣域網跨越距離遠，線路資源有限，高速帶寬費用昂貴。快速增加的業(yè)務流量與有限的帶寬資源之間的矛盾，使得廣域網上的流量很容易產生擁塞，導致業(yè)務延時增加、流量抖動，甚至丟包。如圖1所示。 

圖1 廣域網流量特征

廣域網的上述矛盾決定了廣域網業(yè)務質量的“不可靠”性，也使得流量控制始終是廣域網方案設計的核心內容。

2、流量控制方案

隨著線路類型以及網絡產品和技術的發(fā)展，在廣域網上進行流量控制的技術主要分為三種。 

◆InterServ方式

集中服務方式，主要應用于早期的廣域網專線，如ATM、FR，通過將線路劃成多個PVC**（Permanent Virtual Circuit，永久虛電路，例如ATM線路的VPI/VCI、FR線路的DLCI等），每個PVC分配所需的保證帶寬（CBR），將線路的實際帶寬在PVC上進行分配。通過將不同類型的業(yè)務映射到對應的PVC上，使用PVC的分配帶寬，實現(xiàn)不同類型業(yè)務的傳輸帶寬和時延質量保證。

該種方式要求網絡中的所有節(jié)點（包括核心節(jié)點）都記錄并保留每個類型業(yè)務流的資源預留狀態(tài)，同時為每個類型的業(yè)務流設置單獨的內部虛電路資源，以保證業(yè)務流的帶寬。因而該方式對于可劃分PVC的ATM、FR等線路比較容易實現(xiàn)。

然而現(xiàn)在廣域線路以POS、E1、以太網為主，采用共享帶寬方式，在線路上已經不能進行虛擬電路劃分。另外，在大型網絡中，業(yè)務流數(shù)量非常龐大，對網絡節(jié)點設備的處理能力有著非常高的要求。同時，由于必須在所有節(jié)點上都保留每個類型業(yè)務流的資源狀態(tài)，整體網絡設計和部署的可擴展性也較低。

因此，IntServ方式主要在早期的廣域網線路中應用，而不再適應當前以IP為主的廣域網線路，以及日益增多的應用業(yè)務，它逐漸被DiffServ方式所替代。 

◆DiffServ方式

區(qū)分服務方式，是IETF工作組為了克服InterServ的可擴展性差而提出的服務模型，目的是制定一個可擴展性相對較強的方法來保證IP的服務質量。在DiffServ模型中，業(yè)務流被劃分成不同的區(qū)分服務類。一個業(yè)務流的區(qū)分服務類由其IP包頭中的區(qū)分服務標記字段（Different Service Code Point，簡稱DSCP）來表示。在實施DiffServ的網絡中，每一個節(jié)點路由器都會根據(jù)數(shù)據(jù)包的DSCP字段執(zhí)行相應的PHB(Per Hop Behavior)行為，主要包括EF、AF、BE三類：

1. Expedited Forwarding (EF)：主要用于低延遲、抖動和丟包率的業(yè)務，這類業(yè)務一般運行一個相對穩(wěn)定的速率，需要在路由器中進行快速轉發(fā)。

2. Assured Forwarding (AF)：這類業(yè)務在沒有超過最大允許帶寬時能夠確保轉發(fā)，一旦超出最大允許帶寬，則允許根據(jù)不同的丟棄級別丟棄報文。

3. Best Effort (BE)：盡力轉發(fā)，主要用于對時延、抖動和丟包不敏感的業(yè)務。

區(qū)分服務只包含有限數(shù)量的業(yè)務級別，狀態(tài)信息的數(shù)量少，因此擴展性較好。目前，區(qū)分服務是業(yè)界認同的IP骨干網的QoS解決方案。盡管IETF為每個標準的PHB都定義了推薦的DSCP值，但是設備廠家可以重新定義DSCP與PHB之間的映射關系，用戶可根據(jù)網絡實際需要進行靈活定義。 

◆MPLS TE方式：

Diffserv是基于流分類的逐跳行為，但是不能選擇路徑。MPLS TE流量工程是將InterServ方式應用到IP網絡中，進行資源預留和流量分擔，從而提高線路帶寬利用率，對網絡資源的使用進行優(yōu)化。但是TE的實現(xiàn)機制比較復雜，對設備的功能和性能要求很高；同時TE主要應用于運營商骨干網絡，適合于網狀或者半網狀網絡結構，對于企業(yè)級的星形、層次化網絡結構并不適合。因此MPLS TE在企業(yè)級廣域網中應用比較少見。

在以上三種方式中，目前較為常用的是DiffServ方式，采用流量分類、流量監(jiān)管（限速）、擁塞管理（優(yōu)先級隊列）等QoS技術，對不同類型流量執(zhí)行不同的流量控制策略，保證高優(yōu)先級關鍵業(yè)務的傳輸質量。

3、流量調度需求

流量控制方案雖然能夠保證關鍵業(yè)務的傳輸質量，但隨著廣域網上業(yè)務類型的增加，面臨多樣化的業(yè)務流量控制需求，逐漸顯現(xiàn)一些不足，主要體現(xiàn)在以下幾點。 

◆不能全局協(xié)調

DiffServ方式的出發(fā)點就是通過PHB的方式，每個節(jié)點獨立執(zhí)行流量控制策略。目前廣域網的雙節(jié)點、雙鏈路組網方式已經成為主流，這種基于單節(jié)點、單鏈路的PHB控制策略，無法充分利用主、備鏈路帶寬。例如，當主鏈路業(yè)務流量突發(fā)超過主鏈路帶寬時，根據(jù)主鏈路節(jié)點設備的流量控制策略，即使備鏈路有空閑帶寬，仍然會對主鏈路上過載流量進行丟棄，導致同一網絡節(jié)點上的鏈路資源沒有得到充分利用。備鏈路很可能仍有一定的空閑。根據(jù)主鏈路節(jié)點的流量控制策略，主鏈路上必然產生流量丟包，備鏈路上的空閑資源沒有得到有效利用。

圖2 雙鏈路流量控制

如圖2所示，主、備鏈路帶寬均為10M，主鏈路流量突發(fā)（達到12M），而備鏈路流量正常（6M）。由于R1、R2的流量控制策略是獨立部署和執(zhí)行的，根據(jù)路由器R1的流量控制策略，會有2M流量被丟棄，而R2所在鏈路還空余4M的鏈路帶寬，主、備鏈路壓力和利用率不均衡。 

◆不能動態(tài)調整

流量控制是基于業(yè)務流特征執(zhí)行策略，一般很少考慮對終端用戶進行控制。事實上，業(yè)務類型和終端用戶的增加，使得業(yè)務流突發(fā)存在很大的不確定性。例如在線辦公系統(tǒng)（Notes、Email等），通過流量控制保證2M帶寬，則10人使用時，每人平均100K的流量，50人使用時，每人平均只有40K。如果一些用戶收發(fā)大郵件、占用大量帶寬，將會導致其他人員只能使用遠小于平均值的帶寬，業(yè)務訪問速度降低，甚至會影響正常辦公。若對每個用戶的訪問速度進行限制（例如每人最大50K），又會抑制整體訪問速度，當并發(fā)訪問人員較少時，雖然帶寬有富余，訪問速度也不能增加。因此，由于缺乏動態(tài)調整機制，很難對每個用戶的使用帶寬進行有效限制和保證，以提高效率、兼顧公平性。 

◆不能精細化控制

通過路由器、交換機等網絡設備執(zhí)行流量控制策略，必須明確配置每種業(yè)務的特征（IP地址、端口號、協(xié)議類型、優(yōu)先級等），對于無法通過上述特征識別的業(yè)務（如FTP、基于HTTP、P2P等的應用），基于流量控制方案不能進行有效的控制。而隨著B/S架構、服務器虛擬化的廣泛應用，傳統(tǒng)的業(yè)務流特征已經不再包含單一應用，必須有對應的深入識別和控制手段，進行精細化流量控制。 

◆整體部署策略復雜

DiffServ方式流量控制雖然可以結合MPLS TE、分層QoS技術，實現(xiàn)更加強大的流量控制功能（例如對關鍵業(yè)務進行帶寬預留，對不同部門的不同業(yè)務進行分級帶寬保證），但MPLS TE和分層QoS技術實現(xiàn)和配置比較復雜，除了運營商骨干網，企業(yè)級網絡中應用較少。事實上，基于企業(yè)級網絡的組網結構和運維管理水平，它需要簡單、直觀、可擴展、適應性強的技術和策略。

為了改進傳統(tǒng)流量控制方案中的不足，滿足多樣化的業(yè)務流量控制需求，企業(yè)廣域網需要一種動態(tài)、智能、簡單的機制實現(xiàn)流量控制，這就是流量調度。

表1 流量控制與流量調度對比：#p#

二、 流量調度方案的主要構成

廣域網流量調度方案，主要包括業(yè)務分流、擁塞避免、流量路由、精細化流量控制等幾個部分。

 1、業(yè)務分流

業(yè)務分流是進行流量調度方案設計的前提。通過路由協(xié)議（Cost、路由優(yōu)先級等路由策略調整）、策略路由、VRRP/VRRPE等，將流量在鏈路上進行策略性的分擔。例如將辦公、生產等業(yè)務在主鏈路上承載，將視頻會議業(yè)務在備鏈路上承載。

2、擁塞避免

傳統(tǒng)的流量控制是“后覺”行為，主要部署在網絡設備出接口，當需要轉發(fā)的流量超過出接口帶寬時，執(zhí)行擁塞管理策略，通過優(yōu)先級隊列轉發(fā)高優(yōu)先級流量、丟棄低優(yōu)先級流量。QoS技術中雖然有WRED擁塞避免技術，但其主要原理是通過提前丟包降低業(yè)務流速率，從而減輕出接口擁塞程度，但并不能完全避免擁塞。 

圖3 擁塞管理時延測試

以某測試為例，出接口為10M以太網鏈路，配置CBQ優(yōu)先級隊列，優(yōu)先保證UDP報文流量。通過流量測試儀生成混合報文，UDP包（模擬視頻流）占1/4，IP包（64字節(jié)）占1/4，IP包（1024字節(jié)）占1/2，依次測試流量為1.2M、2.4M、3.6M、…、10.8M、12M等幾種情況，記錄每個報文的平均時延、丟包率。

測試結果如圖3所示，流量未超過鏈路帶寬時，所有報文都能夠正常轉發(fā)，平均時延在1ms以下。當流量超過鏈路帶寬，發(fā)生擁塞時，通過CBQ擁塞管理策略，UDP包仍然能夠完全轉發(fā)，丟包率為0；而IP包的丟包率隨著流量增加而增大。同時，無論是UDP包還是IP包，平均時延都大幅增加，達到15ms以上，IP包甚至達到30ms以上。

可見，雖然擁塞管理可以保證高優(yōu)先級流量的傳輸帶寬與正常轉發(fā)，但會導致較大的時延，對高清視頻等敏感業(yè)務造成一定的影響。

通過擁塞避免，則可以有效的解決上述問題。擁塞避免的主要思路是“先覺”，采用簡單、高效的令牌桶技術，對路由器進入的流量進行評估和著色，對鏈路帶寬內的流量標記綠色，超過鏈路帶寬的流量標記紅色，只允許綠色的流量進入到出接口，使得出接口的流量不會超過鏈路帶寬，不產生擁塞。

相對于復雜的CBQ隊列調度機制，擁塞避免采用了簡單、高效的令牌桶流量評估和轉發(fā)機制，有效降低了流量的時延。如圖4所示，通過擁塞避免，路由器總體流量達到出接口鏈路帶寬的120%～160%時，將時延控制在5ms左右，大大低于擁塞管理的時延。 

圖4 擁塞避免與擁塞管理時延對比

3、流量路由

傳統(tǒng)的流量控制，每個網絡節(jié)點都基于出接口鏈路帶寬獨立執(zhí)行策略，無法實現(xiàn)主、備鏈路帶寬資源的充分利用。通過流量路由技術，可以實現(xiàn)對多個端口或鏈路進行流量全局調度，動態(tài)監(jiān)測整個節(jié)點鏈路的帶寬利用率；在業(yè)務突發(fā)時，將較低優(yōu)先級的流量報文重路由到空閑的備鏈路上轉發(fā)，避免主鏈路上的流量擁塞，從而盡量避免報文丟棄，提高系統(tǒng)鏈路帶寬的利用率。由于業(yè)務突發(fā)時不發(fā)生丟包，因此能夠維持應用層會話不中斷，提高整體應用系統(tǒng)的可靠性。

流量路由實現(xiàn)流程主要包括以下三部分，如圖5所示： 

圖5 流量路由技術實現(xiàn)流程 

◆流量監(jiān)測：對進入路由器的所有流量進行統(tǒng)計，獲取優(yōu)先級、流量大小特征。圖5中，主鏈路帶寬為10M，流量1、2、3、4的保證帶寬分別為2M、2M、4M、2M，實際帶寬分標為2M、2M、3M、5M，其中流量4有突發(fā)，實際帶寬大于保證帶寬，流量3的實際帶寬小于保證帶寬。 

◆流量著色：根據(jù)流量監(jiān)測的結果，以及設定的擁塞避免策略，為各類業(yè)務流標記顏色，以執(zhí)行對應的轉發(fā)策略。具體原則為：

（1）根據(jù)每個業(yè)務的保證帶寬、實際流量，對流量報文著色。 

◆當業(yè)務流量低于保證帶寬時，標記為綠色；當業(yè)務流量高于保證帶寬時，表示有突發(fā)，將超過保證帶寬的突發(fā)流量標記為紅色。圖5中，流量1、2、3的業(yè)務流量標記為綠色，流量4有2M流量標記為綠色，3M流量標記為紅色；

（2）進行多級調度，為業(yè)務流量重分配帶寬，從而達到帶寬均衡。 

◆經過步驟（1）后，業(yè)務流量包括綠色的正常流量，以及紅色的突發(fā)流量。如果某個業(yè)務流量小于保證帶寬，則綠色的流量速率小于出接口帶寬，此時可以通過多個業(yè)務帶寬重分配，將富余的帶寬分配給一部分紅色的突發(fā)流量，使之變?yōu)榫G色。反之，如果綠色流量的速率大于出接口帶寬，此時可以通過多個業(yè)務帶寬重分配，將一部分優(yōu)先級較低的流量變?yōu)榧t色。圖5中，流量3的實際流量比保證帶寬小1M，流量1、2、3的綠色流量帶寬為9M，富余的1M將分配給流量4，則流量4有3M流量標記為綠色，2M流量標記為紅色；

（3）可以將紅色的流量進行優(yōu)先級重標記，打上特定的DSCP優(yōu)先級，用于執(zhí)行流量轉發(fā)策略。例如，將著色為紅色的流量，標記特殊優(yōu)先級DSCP11。 

◆流量轉發(fā)：根據(jù)流量著色結果執(zhí)行轉發(fā)策略。對綠色的流量正常轉發(fā)，通過出接口A沿主鏈路轉發(fā)；對紅色的流量，按照設定的流量策略，將報文丟棄，或者重路由到出接口B，轉發(fā)給相鄰路由器，沿備鏈路轉發(fā)。

在實際應用中，為了防止重路由后的流量再重新返回（例如冗余廣域鏈路故障），還需要在主路由器上配置策略，禁止由B接口送出的重路由流量再由接口B返回路由器。

4、精細化流量控制

由于傳統(tǒng)的流量控制只能根據(jù)L2～L4報文進行處理，因此需要依靠DPI（深入報文檢測）、ACG（應用流量控制）等技術和設備進行精細化流量識別和控制，并且能夠基于用戶執(zhí)行靈活控制策略。 

◆DPI：路由器設備的L4～L7層報文特征識別功能，通過CPU實現(xiàn)。優(yōu)點是路由器軟件集成，不增加額外成本；缺點是識別功能較弱，性能不高。適用于帶寬不高、流量較少的小型網絡。 

◆ACG：采用專用的硬件設備，通過特征庫實現(xiàn)L4～L7層報文特征識別功能，既可以是獨立的硬件設備，也可以是路由器的業(yè)務模塊。優(yōu)點是功能強大，除了報文特征識別外，還可以基于流特征（如持續(xù)時間、速率波動、流量統(tǒng)計特征）識別報文特征難以界定或經常變化的應用流量（如P2P流量，經常更改端口號、協(xié)議字段）；缺點是需要增加額外投資。適用于帶寬較高、流量比較復雜的中大型網絡。  通過ACG專用設備，還可以使用直觀、易于管理的配置界面，實現(xiàn)復雜的流量控制和調度策略。例如，對廣域網30個分支機構、每個機構5種業(yè)務設定帶寬分配和優(yōu)先級轉發(fā)策略。如果通過路由器的分層QoS技術實現(xiàn)，涉及150種QoS策略，配置和實現(xiàn)非常復雜；而通過ACG設備實現(xiàn)，可以通過圖形化界面進行統(tǒng)一配置，部署簡單、直觀。#p#

三、 流量調度方案的主要應用場景

采用流量調度方案，可以滿足不同網絡環(huán)境的多樣化流量控制需求。

1、帶寬預留與共享

SDH和IP技術在帶寬分配方面，前者通過時隙劃分帶寬，適合對不同部門和業(yè)務分配絕對帶寬，但各部門和業(yè)務之間無法做到帶寬共享；后者通過包交換共享帶寬，可以充分利用設備和鏈路資源，但如果需要實現(xiàn)帶寬預留，必須通過復雜的MPLS TE技術，實施難度很大。

對于政府、企業(yè)的某些廣域網建設，多個部門、業(yè)務共享物理網絡平臺，為了兼顧業(yè)務傳輸質量和帶寬均衡，有時需要為關鍵部門和業(yè)務分配一定的預留帶寬，保證該業(yè)務持續(xù)、正常運行，防止帶寬被其他業(yè)務占用；同時，也需要各部門和業(yè)務能夠共享剩余帶寬，當業(yè)務突發(fā)時，保證總體帶寬的利用效率。

通過流量調度方案可以很好的實現(xiàn)上述需求，如圖6所示： 

圖6 多部門帶寬預留與共享

在地區(qū)A、B的匯聚路由器上，流量調度方案設計如下： 

◆地區(qū)A、B之間廣域網鏈路帶寬155M； 

◆為部門1、部門2各預留40M帶寬，剩余75M作為共享帶寬； 

◆為保證視頻質量的穩(wěn)定，各部門視頻流（10M）只能占用部門預留帶寬，而不能走共享帶寬； 

◆在部門預留帶寬內，數(shù)據(jù)流量可以自動根據(jù)視頻流量大小調整帶寬分配，當沒有視頻流量時，數(shù)據(jù)流量可以占用全部40M預留帶寬，超過40M的流量占用共享帶寬；有視頻流量（2～10M）時，數(shù)據(jù)流量只占用剩余的預留帶寬。

2、雙鏈路流量調度

為保證高可靠，廣域網普遍采用主、備冗余鏈路。隨著業(yè)務類型和流量的增加，備鏈路已不再只是作為備份，而是與主鏈路進行分擔，共同承載業(yè)務流量，實現(xiàn)對廣域網鏈路資源的充分利用。

傳統(tǒng)流量控制設計，都是基于單接口或鏈路的，當該接口或鏈路業(yè)務流量超出帶寬后，就會產生丟包。采用流量調度方案，可以針對雙鏈路組網結構，進行跨設備跨鏈路的統(tǒng)一流量調度，從而避免一條鏈路可能嚴重擁塞，而另外一條鏈路卻空閑的情況，最大化利用鏈路帶寬資源。 

圖7 雙鏈路流量調度

如圖7所示，實現(xiàn)方案設計如下： 

◆業(yè)務分流：規(guī)劃路由、策略路由，生產等重要業(yè)務走主鏈路，辦公和視頻業(yè)務走備用鏈路； 

◆過載流量調度：主鏈路帶寬被占滿，超過的流量轉發(fā)到備鏈路； 

◆帶寬保證：根據(jù)業(yè)務優(yōu)先級進行帶寬保證，鏈路故障、流量超載時，優(yōu)先保證關鍵業(yè)務傳輸。

3、帶寬公平調配

對于出口帶寬較小，而人數(shù)較多的分支機構，經常會出現(xiàn)由于某個人收發(fā)大郵件等，占用大量的帶寬，導致其他人上網速度明顯變慢，甚至可能影響到其他的重要業(yè)務，比如視頻會議。而大郵件收發(fā)屬于正常辦公業(yè)務，傳統(tǒng)的流量控制只能控制所有用戶的辦公業(yè)務流量，而不能限制某個用戶的流量。

通過基于在線IP的動態(tài)流量調度技術，則可以實現(xiàn)基于終端IP的帶寬公平分配和共享，同時對重要業(yè)務進行帶寬保證和優(yōu)先轉發(fā)。 

圖8 帶寬公平分配

如圖8所示，設計方案如下： 

◆對在線用戶進行帶寬公平分配，例如某一時刻在線10人，則每個人員都可以得到至少200K的帶寬。而另一時刻，有20人在線，則每個人可以得到的帶寬則為至少100K。 

◆此外，還可以設定分組，例如A、B、C三組，每個分組設定總體帶寬，并將該帶寬在組內進行公平分配。例如A組保證帶寬500K，A組內10個人在線，則每個人可得到最少50K帶寬。通過設定分組，可以滿足不同類型用戶的網絡訪問需求。 

◆通過上述帶寬公平分配，在總體流量較小時，用戶可以使用富余的帶寬，實現(xiàn)高速網絡訪問；當總體流量較大時，用戶可以保證最低帶寬，滿足正常的辦公和網絡訪問需求。

四、 結束語

流量調度方案更加關注全局、動態(tài)、智能，對進入路由器的流量在轉發(fā)前進行監(jiān)測，并根據(jù)流量類型、流量突發(fā)情況等分配帶寬，執(zhí)行相應的流量控制策略和轉發(fā)策略。同時，流量調度方案所使用的技術、部署方式必須盡可能的簡單，使其能夠真正應用于企業(yè)級網絡的不同應用場景，提供鏈路均衡負載、業(yè)務獨享或共享帶寬保證、用戶帶寬公平分配、精細化流量識別和控制等功能，適應多業(yè)務發(fā)展和流量突發(fā)環(huán)境，使得行業(yè)和企業(yè)客戶能夠根據(jù)業(yè)務流量特點和自身需求，制定靈活、精簡、易于管理、可擴展的業(yè)務流量管理策略，從而建設快速、高效、可靠的智能廣域網絡承載平臺。