圖注 Brocade 8000 FCoE交換機

2009年6月，FCoE標準終于完成，并有望在近期得到批準。被業界普遍看好的FCoE是否真的能徹底顛覆目前存儲網絡架構，并成為主導未來數據中心的存儲傳輸協議？像以往眾多新技術初現時一樣，對FCoE，有人積極，有人觀望，也有人不屑一顧。不過，大多數人還是對FCoE充滿了期待，只是它想成為主流還有待時日。

2009年6月，T11技術委員會終于將FCoE（Fibre Channel over Ethernet）標準作為一項ANSI標準正式提交給了INCITS（國際信息技術標準委員會）審核，并有望在近期得到批準。盡管FCoE離成為最終標準還差最后一步，但已基本沒有懸念。

FCoE的出現一直被業界看好，被認為是將徹底顛覆存儲網絡架構目前的格局，成為未來主導的存儲傳輸協議。由于FCoE協議是在以太網上傳輸FC封裝的協議，因此，增強型以太網（Converged Enhanced Ethernet，CEE）是其中最重要的相關部分。CEE是采用FC特性的以太網，可傳輸FCoE存儲數據、數據中心應用系統和集群。CEE是一種無損以太網（Lossless Ethernet），其能夠無損地傳輸FCoE數據。據介紹，目前，CEE使用三個優先級組，包括IPC、LAN和WAN。

以太網和光纖通道的有機結合

FCoE的出現源自人們希望將目前大規模應用的以太網和光纖通道相結合的想法。兩者的結合將給數據中心帶來減少設備數量、充分利用光纖通道、存儲集中化等好處。FCoE給大型企業數據中心帶來的好處則非常明顯，因為大型企業每年都投資數十億美元用于光纖通道存儲，因此，能夠在10Gbps的增強以太網中充分利用光纖通道是一個非常誘人的想法。應該說，將以太網和光纖通道結合是偉大的、令人激動的。

FCoE還能夠幫助完成光纖SAN在高速短距網絡中的應用，比如在數據中心外圍中常見的刀片式服務器背板和虛擬化服務器。

FCoE的概念很簡單，就是將光纖通道架構運行于10Gbps增強型以太網（CEE）上，從而形成融合網絡，其特點包括: FC數據幀依舊，沒有任何改變，并使用相同的名稱; 以太網需要更大的數據幀（Jumbo Frames），應大于1500 bytes; 以太網必須變成無丟失的、保證傳輸完整的存儲數據。FCoE是比iSCSI包頭少但比FC要多的一種封裝協議，封裝協議并不替換存儲接口，比如FC或SCSI。FCoE可減少服務器和交換機端口數，減少線纜和電力消耗，增加鏈路使用效率。同時，由于使用10Gbps的CEE，其傳輸速度高。

FCoE并不適用于所有情況，通常一個小規模的、只使用以太網的存儲環境不需要FCoE所帶來的連通性能的提升。但對于使用光纖通道的用戶來說，FCoE能夠使光纖通道存儲滲透到數據中心的每個角落。

達到這種應用水平需要兩個相關的協議: 首先是FCoE本身，一種令本地光纖通道架構運行在以太網上的傳輸標準; 第二個是增強型以太網（CEE），FCoE需要通過以太網來傳輸光纖通道。

FCoE標準使光纖通道通過數據鏈路層橋域運行在多個增強型以太局域網段之間，通過保持跨越10Gbps增強型以太網段的多個邏輯光纖通道SAN，從而支持SAN管理域。FCoE標準不會造成光纖通道的任何性能損失，也不會改變其架構。

增強型以太網，又稱為融合增強型以太網（CEE）、數據中心以太網（Data Center Ethernet）或數據中心橋（Data Center Bridging，DCB），用本地數據鏈路層以太網取代了TCP/IP網絡層協議。傳統的以太網經常有網絡阻塞、延遲和丟幀現象，不適合在光纖通道傳輸中使用，但10Gbps增強型以太網通過放棄了TCP/IP達到了“無損（lossless）”網絡的目的。

“無損”的網絡環境是優先級流量控制（Priority Flow Control）、日程調度（ETS）和FCoE協議應用的前提（同時也是阻塞管理的前提，雖然也很誘人，但對于FCoE不是必要的）。而這些則是使光纖通道架構直接在10Gbps以太網段上運行，同時不損失任何性能的必要條件。 #p#

FCoE與數據中心

目前融合網絡適配器（Converged Network Adapters，CNA）還處在企業內部測試狀態。客戶對FCoE最大的希望是緩解數據中心越來越緊張的計算環境，將其與SAN相連接。FCoE將可能在數據中心計算環境中擴展和平衡現有的光纖通道資源。

與CEE一起，FCoE能夠為數據中心管理員提供以下方便:

● 使用現有的集中式存儲替代直連存儲（DAS）;

● 平衡光纖通道資源，這樣管理員就不再需要購買單獨的iSCSI SAN;

● 為高性能環境提供10Gbps速度的CEE。

某些高性能環境面臨的某些問題正好FCoE和CEE可以解決。這些問題包括需要在集中存儲中部署iSCSI SAN以消除直連存儲，以及大量復雜電纜和多余設備帶來的能耗。

這也是目前大部分FCoE相關研究的目標，在2009年，FCoE仍應用于上述外圍環境。隨著FCoE被證明越來越穩定并形成正式標準，我們相信未來幾年內FCoE將會出現在數據中心的關鍵性應用上。而在少量企業率先使用以后，FCoE將會在一兩年里成為主流。2009年已出現了FCoE部署測試，預計2010年商業FCoE將會出現在數據中心的外圍應用中。

雖然會有很多組織上和預算上的挑戰，但是我們仍然相信在現有光纖通道SAN上進行集中化存儲的回報將大于付出。

1. 在密集的服務器環境中使用集中化存儲

過去，位于數據中心外圍的刀片服務器和虛擬服務器一般使用DAS方式存儲數據; 而基于CEE和FCoE的集中以太網結構能夠帶來更大的帶寬、更高的速度以及連接光纖通道SAN的能力。將現有光纖存儲擴展到這些I/O密集的高性能環境中，能夠摒棄效率低下的DAS存儲，還能平衡現有的光纖存儲SAN，而無需購買iSCSI SAN。CEE還能夠改善I/O密集的環境，因為它能夠提供更大的帶寬和速度。

2. 通過整合服務器降低設備復雜度和數據中心的改擴建

FCoE的另一個早期應用是幫助服務器和網絡整合。數據中心中典型的服務器集群通常有5～7個為其他網絡和冗余設備準備的I/O接口。FCoE和CEE能夠通過多協議切換和基于主機的CAN將端口統一起來，這樣大大減少網絡設備的數量、服務器到網絡的接口、以及連接不同集群的電纜。舉個例子來說，接口數量將可能降低至兩個10GbE端口、兩條電纜、兩個交換接口。

整合的另一個好處在于支持FCoE的CNA能夠提供光纖SAN連接的標準化方法，這將簡化物理架構及其支持。對于I/O互連性來說，整合以后將不再需要安裝光纖通道服務，因為所有的數據中心服務器都擁有了CNA，于是IT部門或者其他政策性部門可以隨時隨地使用光纖通道服務。

3. 幫助提高數據中心能源效率

在數據中心中，整合和網絡統一還會減少與網絡和存儲相關的能源消耗。一般來說，網絡沒有存儲消耗的能源多。集中化結構減少了電纜數量、接口數量和冗余服務器數量，從而達到節省能源的目的。但通過使用FCoE擴展更多數據中心服務器的光纖通道存儲，減少了額外磁盤陣列的能耗，而這部分能耗相當可觀。用SAN集中化存儲取代多個DAS存儲和iSCSI陣列，能夠顯著地減少陣列對能源、空間及冷卻的需求。

4. 一致的SAN連通

CNA使動態光纖通道SAN能夠在以太網服務中部署。這樣就無需在服務器上配置額外的光纖通道端口建立連接了。光纖通道的連通也能夠代替效率低下的DAS方式，簡化物理架構及其支持，減少為不同結構互相連接配備的大量復雜的設備，還可以使存儲管理員獲得高效的存儲資源管理方式，即光纖通道方式代替光纖通道+iSCSI和/或DAS方式。

雖然FCoE和CEE還沒有正式成為標準，但已經擁有了眾多廠商的支持和認可。不過標準也非常重要，這是深入整合和協同的關鍵。建立標準會令管理員們不僅在數據中心外圍的虛擬化和刀片服務器上信任FCoE和CEE，更能夠在數據中心核心環境中相信其能力。雖然標準還未正式制定，但已經吸引了足夠多的廠商和企業將商業產品帶給各位嘗鮮者，預計2010年FCoE和CEE將成為主流產品。目前市場上的FCoE設備供應商包括Brocade、Cisco、Emulex和QLogic，除此之外，大部分存儲和以太網廠商都參與了它的開發和集成。

與此同時，InfiniBand廠商還看到了基于高性能計算（HPC）的擴展機會。雖然僅有少數廠商參與，然而修改InfiniBand將更加容易得到審批，并且InfiniBand已經提供了很多CEE在未來將提供的無損環境。#p#

何時部署FCoE

想要知道何時FCoE才能被廣泛采用，關鍵在于理解數據中心經理們決策的方式。“改變”意味著設備的投資和安裝、管理及其他操作需要的預算。設備升級通常基于兩種情況: 第一種情況是服務水平跟不上需求，第二種是舊設備的操作運行成本比新設備要高。因此，總的來說，采用新技術只能在舊技術的機會成本和管理成本比改造成新技術的成本更高的情況下才能發生。

這樣一來，幾乎所有新技術從提出到采用都經歷了相對漫長的過程。實用主義和預算的影響超過了專家們對項目的樂觀預測。作為參考，可以翻閱過去專家們對某些技術的預測。InfiniBand、iSCSI甚至10Gbps以太網都經過了比一開始預計更長的時間才達到一定數量的市場滲透率。有些技術從來都達不到50%的滲透率; iSCSI和InfiniBand維持不到50%的市場滲透率已經超過6年了，10GbE則經歷了7年50%以下的市場滲透率。

技術的采用率根據企業的規模和產業特點而有所不同。對于每年在存儲上花費超過100萬美元的企業來說，新技術的采用率要高得多，因為它會帶來性能的提高。而對于每年在存儲上花費少于10萬美元的機構來說，對易用性的需求是它們較多采用iSCSI和NAS的主要原因。對于中小企業，光纖通道的采用率還不到50%。

也有技術采用率增幅很快的例子，但是即使是速度較快的案例，比如光纖通道，也同樣經歷了若干年才成為主流連接技術。光纖通道的高速增長主要是因為現有存儲網絡技術的弊端超過了使用新技術帶來的部署問題和成本。然而就是在這樣的理想環境下，光纖通道還是用了4年才成為主流技術。

存儲網絡可選的技術見表1。

FCoE主要依靠兩個基礎。一個是將光纖通道架構置于以太網架構中的新標準，該標準已經在2009年6月通過T11技術委員會正式發布。另一個是一個新的標準，能夠提供FCoE指定的可靠的以太網傳輸。這一部分仍在推進中，正在快速向正式的標準邁進。

FCoE要求使用的CEE，早期的術語“數據中心以太網”（Data-Center Ethernet，DCE）是思科的專利術語。新的10Gbps CEE不再需要TCP來保證包的傳輸，而是使用以太網的數據鏈路層，這更像是光纖通道的數據鏈路層安全傳輸。

對于某些人來說，使用CEE意味著將存儲協議轉移到LAN上，但是這次不一樣。新的CEE網絡擁有全部的存儲網絡特征，包括虛擬通道、優先級和質量服務、安全傳輸以及透明容錯的冗余連接。

另外一個要求CEE的可能原因是傳統以太網使用TCP/IP會帶來安全問題。與CEE不同，以太網始終處于非路由數據傳輸層。有了CNA和CEE后，連通的SAN和LAN將共享同一個物理管線，但是在邏輯上仍然是分開的，服務質量依然受到保護。

雖然使用同樣的傳輸方式，iSCSI和FCoE之間仍有很多不同，iSCSI的價值在于低成本和易用性，但它無法提供與光纖通道相同的性能。這其中的原因有很多，與TCP脫離太遠就是其中原因之一。

數據中心經理們目前都有這樣的疑問，那就是未來FCoE是否會變得很重要。這個問題很簡單，答案當然是肯定的。不過難回答的問題是: “FCoE將在何時代替標準光纖通道？”或者說“FCoE會代替光纖通道和iSCSI存儲嗎？”這些問題的答案需要由幾個因素決定，包括企業的規模和IT預算的數目。就像圖2所示，光纖通道存儲逐漸會被FCoE和iSCSI代替。

推廣初期，FCoE將適用于大型組織，因為這些組織需要10Gbps的速度，能夠承受持續的基建投資，并且擁有解決部署問題的IT專家。而iSCSI存儲主要應用于小型組織和不要求最高存儲性能的特殊領域。未來隨著時間的推移，FCoE成本將下降，部署難題也將解決，并開始進軍主流市場。在CEE和10Gbps的幫助下，iSCSI將克服性能的不足，從而在大型企業中找到適合的市場。

最終，CEE的部署將使FCoE成為可能，同時iSCSI和NAS存儲性能也將得到提高。于是，在不久的將來，CEE將成為兼容所有LAN和SAN協議的主流傳輸方式。

FCoE的出現對企業設備性能提出了新的需求，那就是網絡速度要求10Gbps。因此，正在升級光纖通道到8Gbps的企業很可能不會在近期部署FCoE。但是，仍然使用4Gbps甚至2Gbps設備的企業應該會很快升級到10Gbps。

記得當FCoE首次發布時，曾有很多懷疑的聲音，因為當時IT環境惟一需要的是一種新的傳輸方式和協議。而目前已經有兩種比較完善的網絡，即光纖通道SAN存儲和以太網LAN存儲。另外，雖然InfiniBand最近獲得了廣泛關注，但它看起來不像是能夠代替以太網作為LAN和SAN的通用數據傳輸方式。#p#

FCoE市場

雖然步入FCoE的過程將不會像從100Mbps以太網到1Gbps以太網和從4Gbps光纖通道到8Gbps光纖通道那樣容易，但廠商們仍在不斷地開發CEE和FCoE的配套產品。因為將SAN和LAN融合到公共架構上還需要對現有以太網硬件進行升級，這需要新型的低延遲以太網設備。

增加虛擬I/O層也將推動CNA代替HBA的步伐。虛擬化曾是動態IT、信息生命周期管理、云計算以及許多其他成就的關鍵催化劑。但是，現有的LAN和SAN協議并不支持端口虛擬化。因此，增加虛擬I/O將使CEE數據傳輸發揮更大的支持作用，也會幫助虛擬I/O脫離融合主機適配器。

如表2所示，許多廠商已經開始推出或正在計劃推出CEE和FCoE的配套產品（雖然現在還沒有任何本地FCoE存儲需求）。像JDS Uniphase一類的廠商已經推出了FCoE測試設備（JDS Uniphase最近剛剛收購了Finisar的網絡工具事業部）。

FCoE市場的繁榮也許也是其成功的原因之一。傳統的光纖通道廠商也已經開始發布FCoE產品，而以太網廠商甚至InfiniBand廠商也都開始提供CEE設備。舉個例子，InfiniBand廠商Voltaire和Mellanox均發布了10Gbps的CEE設備，與Cisco和Brocade展開競爭。CEE設備目前的市場價約為每端口1000美元，幾乎是標準10Gbps以太網端口的2倍。

誰是FCoE的受益者？

FCoE的受益者包括大型企業和中小企業。大型IT組織將可以使服務器I/O傳輸整合為柔性的、虛擬的數據傳輸方式，以節省空間、能耗以及電纜。另外，由于帶寬增加，大型企業也將會獲得更高的連接速度。這是因為FCoE對現有光纖通道網絡的向后兼容和新型高速網絡對其他存儲協議數據的兼容。

對于中小型企業來說，在FCoE中獲益的原因是這些企業未來幾乎不需要對傳輸方式進行選擇。因為無論怎么樣，結果都是使用以太網。這也就是說，中小型企業目前可以在標準以太網上部署NAS和iSCSI存儲。未來如果對光纖通道存儲有需要，仍然可以利用FCoE充分發揮NAS和iSCSI存儲的功能。而這只需要對現有以太網進行一次簡單的升級。

許多存儲廠商支持FCoE的原因是FCoE為融合型數據傳輸開創了一條道路，并且還能夠充分利用企業過去在I/O技術上的投資。廠商們需要的是用最少的投資將物理和數據鏈路層從光纖通道轉移到以太網。最初使用FCoE時，支持FCoE的CNA和CEE的價格一定不會比8Gbps光線通道便宜。但隨著使用數量和廠商數量的增加，市場競爭將會促進價格的下降。

由此可以說，幾乎所有人都是FCoE的受益者。使用光纖通道的IT組織可以繼續充分利用舊設備; 尚未使用光纖通道的組織則可以利用這個機會部署光纖通道存儲和其他協議，比如iSCSI、NFS和CIFS。通過將CEE以太網作為標準傳輸方式，舊設備將得到充分的利用，不論是對于大型企業還是中小型企業。#p#

措施和建議

Evaluator Group咨詢公司建議所有企業在規劃存儲架構時考慮新的CEE以太網。基于現有的存儲產品，企業還應當對FCoE的使用方式有所安排。

2010年，只有年IT預算超過數百萬美元的企業適合投資CEE和FCoE。這些企業部署CEE和FCoE將最可能用于解決超規模服務器虛擬化問題和I/O密度過高的問題。CEE和FCoE的大規模應用將出現在2012年及以后。

對于大型企業，CEE和FCoE的部署建議如下:

2009～2011年: 超規模服務器虛擬化對I/O提出了更高的要求（CEE和FCoE的邊緣化應用）;

2010～2013年: 服務器I/O整合，用融合型CEE提供額外存儲;

2012年以后:將現有光纖存儲網絡設施轉為CEE和FCoE架構。

對設備性能要求不高的中小企業來說，在CEE和FCoE的部署上將走在后面，預計不早于2011年。對于已經大力部署了光纖通道的中小企業來說，未來在存儲系統改進上要繼續充分利用原有的光纖通道。對于光纖通道設備，建議在明后兩年里將其升級到8Gbps。

有些中小企業則主要使用以太網連接存儲，比如NAS和iSCSI。Evaluator Group建議，繼續加強標準以太網建設。新型CEE以太網設備的價格比標準以太網設備高出很多，性價比不高，預計在未來2到3年內兩者的價格可能將趨于一致。

我們相信，未來的世界將屬于以太網。#p#

鏈接一

關于FCoE標準

目前，FCoE和CEE的標準均未正式出臺，但業內主要的網絡和系統廠商已經達成了一致，并積極地應用在自己的產品中。這其實不足為奇，因為大部分廠商都是T11（FCoE）和IEEE（CEE）標準成員單位。因此他們的意見對標準制定的過程和結果幾乎具有決定性的影響。

在這兩個標準中，FCoE看來已經離我們越來越近，預計在今年會正式出臺。CEE標準的出臺將更晚一些，因為IEEE對CEE閃電般的傳輸速度還沒有完全認識。然而與此同時，廠商們卻已經對CEE協議一致認可，并將會在首批商業FCoE產品中使用。支持FCoE的網絡組件已經交付用戶，預計幾個月以后OEM也將開始。

由于缺乏正式標準及其初級集成水平，FCoE將只能處于數據中心外圍，而不是服務于核心服務器環境。而且，在企業數據中心里，大部分關鍵服務器都通過直接接口連接的光纖通道中進行存儲，并不需要FCoE和CEE來完成。雖然使用FCoE和CEE擁有其優勢，甚至對于關鍵性服務器也是如此，但就現在而言，數據中心在現有標準支持下無論是性能還是協同能力均可以滿足需求。提升速度、統一的輸入輸出以及服務器和電纜傳輸延遲的降低是FCoE和CEE吸引人的地方，但這一切建立在兩個協議均運行穩定的情況下。

鏈接二

FCoE的新設備

支持FCoE和CEE的必需設備包括：

●10Gbps 增強以太網（CEE）交換機;

●同時支持以太網和光纖通道的融合網絡適配器（CNA）;

●一個支持封裝和解封裝功能的FCoE轉發器。

FCoE轉發器比網關要簡單得多。以iSCSI-FCoE網關為例，網關必須結束一個協議（iSCSI），然后再開始下一個協議（光纖通道），這時iSCSI需要兩個會話，一個是網關啟動程序，另一個是網關與目標之間的對話。而FCoE則只需要一個啟動程序與目標之間的光纖通道會話即可。

雖然FCoE需要另外一些新設備投資，但是新產品并不僅僅直接服務于FCoE。CEE交換機可以提高整個以太網傳輸速度至10Gbps，而CNA可以為HBA提供額外的FCoE連接能力。因此，投資成本相比目前企業在存儲資源上的投資額不會高太多。隨著采用率的提高，FCoE轉發器初始成本還會降低。除此以外，FCoE不要求任何其他設備投資，因為SAN的硬件、應用以及操作流程均未改變。CEE除了使FCoE收益以外，介于能夠提供單獨傳輸類、無損傳輸和10Gbps的傳輸速度，對于提高整個以太網的性能也大有幫助。

FCoE目前仍存在一些問題，不是因為其成本較高，而是因為維護和排除故障顯得有些困難。因為融合網絡比專用網絡維護起來復雜得多，因此在同一個物理管線中實現分別管理各個融合組織非常重要。VLAN似乎可以解決這個問題，它允許存儲管理員像管理CEE一樣分別管理各個光纖通道。支持FCoE的10Gbps交換機將代替獨立的LAN交換機和光纖通道導向器。

VLAN允許光纖通道管理員保持現有操作流程。即使這樣，預計仍然會有一些操作流程的重疊和管理上的問題，因為FCoE是架設在以太網段及其資源上的。同時，服務器的關鍵性應用通常擁有大量的以太網和光纖通道端口—多到10Gbps端口已經不能滿足融合的需要了。因此在數據中心外圍實施，融合少量端口，比較適合目前的FCoE。