虛擬化數(shù)據(jù)中心的網(wǎng)絡(luò)“指揮塔”
隨著技術(shù)的成熟和應(yīng)用的推動(dòng),很多企業(yè)的IT系統(tǒng)已經(jīng)邁出了走向云計(jì)算的第一步,這一步就是虛擬機(jī)的應(yīng)用。在一臺(tái)物理服務(wù)器上虛擬出多個(gè)服務(wù)器,這種方式給IT帶來了實(shí)實(shí)在在的效益:服務(wù)器的采購數(shù)量減少了;用虛擬機(jī)為原來沒有HA的業(yè)務(wù)增加上了HA,減少了業(yè)務(wù)中斷的投訴和抱怨;硬件不再只發(fā)揮出10%的能力,有了更強(qiáng)勁的用武之地,……
下圖是IDC 2011年的報(bào)告,報(bào)告顯示,2010年已經(jīng)有51%的負(fù)荷是由虛擬機(jī)在承擔(dān);到2013年,將有69%的負(fù)荷將由虛擬機(jī)來承擔(dān)。
和虛擬機(jī)的應(yīng)用與技術(shù)發(fā)展相比,網(wǎng)絡(luò)對虛擬機(jī)感知的發(fā)展明顯滯后了,這給虛擬機(jī)的應(yīng)用帶來了諸多困擾。服務(wù)器中需要有虛擬交換機(jī)來實(shí)現(xiàn)虛擬機(jī)間的通信;虛擬交換機(jī)的管理需要服務(wù)器管理員掌握網(wǎng)絡(luò)知識(shí),或者網(wǎng)絡(luò)管理員將手伸到服務(wù)器領(lǐng)域;虛擬機(jī)網(wǎng)絡(luò)故障的問題,是在虛擬交換機(jī),還是在物理網(wǎng)絡(luò),故障的定位更加困難;隨著虛擬機(jī)技術(shù)的發(fā)展,虛擬機(jī)遷移、資源池調(diào)度的應(yīng)用越來越普及,在虛擬機(jī)遷移的目的地,網(wǎng)絡(luò)需要提前就緒,包括配置、動(dòng)態(tài)表項(xiàng)等。
就像飛機(jī)起降前機(jī)場的準(zhǔn)備就緒需要由機(jī)場指揮塔來調(diào)度一樣,虛擬機(jī)起降前網(wǎng)絡(luò)的準(zhǔn)備就緒也需要網(wǎng)絡(luò)“指揮塔”來調(diào)度解決。
虛擬機(jī)的網(wǎng)絡(luò)環(huán)境分析
IEEE標(biāo)準(zhǔn)802.1Qbg[1]中對虛擬機(jī)接入網(wǎng)絡(luò)的各種方案做了全面的總結(jié)。主要有以下三種:
“軟件實(shí)現(xiàn)的虛擬交換機(jī)”是最原始、最基本的方式,VMWare ESX、微軟 Hyper-V等虛擬機(jī)平臺(tái)都作為基本功能模塊提供。“由智能網(wǎng)卡實(shí)現(xiàn)交換”是網(wǎng)卡廠商主導(dǎo)的硬件加速方案,虛擬機(jī)平臺(tái)對這種方式也已經(jīng)逐步支持起來。這兩種方式在數(shù)據(jù)流量管控上都存在較大的困難,例如,要實(shí)現(xiàn)流量采集,需要在物理服務(wù)器中創(chuàng)建一個(gè)虛擬機(jī),專門用來運(yùn)行探針。“接入交換機(jī)環(huán)回轉(zhuǎn)發(fā)”的方式性能最佳,流量管控能力最強(qiáng),但需要接入交換機(jī)支持該功能,由于部分舊的交換機(jī)需要被更換,適合在新建數(shù)據(jù)中心部署。
總之,無論哪種方式,網(wǎng)絡(luò)“指揮塔”都需要能夠很好的支持。
“指揮塔”要縱觀全局
網(wǎng)絡(luò)“指揮塔”要能夠看到“虛擬交換機(jī)”,看到虛擬機(jī)和虛擬交換機(jī)的連接關(guān)系,看到“虛擬交換機(jī)”和物理交換機(jī)的連接關(guān)系,這是對虛擬機(jī)網(wǎng)絡(luò)進(jìn)行指揮調(diào)度的基礎(chǔ)。
本文以華為公司的相應(yīng)產(chǎn)品為藍(lán)本,介紹業(yè)界在虛擬機(jī)網(wǎng)絡(luò)管理方面的技術(shù)應(yīng)用。
華為公司的虛擬機(jī)網(wǎng)絡(luò)“指揮塔”nCenter(Network Center),和VM的管理器vCenter是兄弟。
虛擬機(jī)網(wǎng)絡(luò)管理一般包括虛擬資源管理和虛擬機(jī)遷移管理,其中虛擬資源管理是指物理和虛擬資源的信息采集和拓?fù)涔芾恚锢砗吞摂M資源包含虛擬機(jī)、虛擬交換機(jī)、物理服務(wù)器、物理交換機(jī)。
nCenter通過網(wǎng)管標(biāo)準(zhǔn)協(xié)議發(fā)現(xiàn)TOR,通過vCenter的開放接口從vCenter獲取虛擬機(jī)信息(包括虛擬機(jī)和虛擬交換機(jī)的連接關(guān)系)。
TOR通過LLDP、CDP等設(shè)備發(fā)現(xiàn)協(xié)議發(fā)現(xiàn)虛擬交換機(jī),明確虛擬交換機(jī)和TOR的拓?fù)潢P(guān)系。
綜合上述信息,nCenter能夠繪制出完整的物理、虛擬資源及拓?fù)洹O聢D是nCenter上查看虛擬機(jī)網(wǎng)絡(luò)拓?fù)涞囊粋€(gè)實(shí)例。
圖中38、40是TOR,下面的框分別是兩臺(tái)物理服務(wù)器,內(nèi)部各有幾臺(tái)虛擬交換機(jī)和幾個(gè)虛擬機(jī)。圖中清晰簡潔地呈現(xiàn)出了物理節(jié)點(diǎn)、虛擬節(jié)點(diǎn),物理、虛擬的拓?fù)溥B接關(guān)系也清楚明了。故障定位有圖可循,能夠極大的提高管理維護(hù)效率,降低管理維護(hù)成本。
拓?fù)涔芾磉€提供搜索功能,在大規(guī)模的網(wǎng)絡(luò)中,也能方便快捷地搜索出虛擬機(jī)。
虛擬機(jī)“起降”的指揮調(diào)度
僅僅實(shí)現(xiàn)拓?fù)涔芾恚€不能成為“指揮塔”。“指揮塔”還必須能夠管理虛擬機(jī)的“起降”(遷移),在虛擬機(jī)“起降”時(shí),網(wǎng)絡(luò)必須能夠按需配置、動(dòng)態(tài)調(diào)整、及時(shí)就緒。
每個(gè)虛擬機(jī),根據(jù)其部署的具體業(yè)務(wù),需要規(guī)劃網(wǎng)絡(luò)配置,包括:QoS、ACL等。在虛擬機(jī)部署前,需要先在nCenter上創(chuàng)建策略模版,策略模版被統(tǒng)一管理起來,虛擬機(jī)“起降”時(shí),參數(shù)配置就可以從策略模版中獲取。
開放支持各種虛擬機(jī)“起降”
IEEE的標(biāo)準(zhǔn)802.1Qbg有兩種方案,一種是“帶內(nèi)管理”方案。如下圖所示:
其中VSI Manager是管理VSI(Virtual Station Interface)的配置信息,即上面說的虛擬機(jī)的策略模版。隨路信令在802.1Qbg中定義了,包括:ECP(Edge Control Protocol)用于封裝VDP協(xié)議;VDP(VSI Discovery and Configuration Protocol)用于VSI的發(fā)現(xiàn)與配置,基于ECP;和CDCP(S-Channel Discovery and Configuration Protocol)用于配置、創(chuàng)建和刪除S-Channel(非必選)。#p#
服務(wù)器中的虛擬機(jī)創(chuàng)建、刪除,通過VDP協(xié)議通告給TOR,TOR向VSI Manager獲取網(wǎng)絡(luò)策略,完成網(wǎng)絡(luò)屬性配置。因?yàn)閂DP協(xié)議和虛擬機(jī)的網(wǎng)絡(luò)鏈路是同一條,因此,稱為“帶內(nèi)管理”。
另一種方案是“帶外管理”方案。如下圖所示:
虛擬機(jī)的創(chuàng)建、刪除、遷移,vCenter是控制發(fā)起者,通過vCenter的開放接口通知到nCenter,nCenter向相關(guān)的網(wǎng)絡(luò)設(shè)備下發(fā)相關(guān)的網(wǎng)絡(luò)策略的配置。
“帶內(nèi)管理”方案,由于目前協(xié)議標(biāo)準(zhǔn)尚未確立,各虛擬機(jī)平臺(tái)廠商均未推出相關(guān)產(chǎn)品,協(xié)議未具體規(guī)定和vCenter的接口,VSI Manager需要針對各虛擬機(jī)平臺(tái)進(jìn)行適配,因此,目前還難以實(shí)際應(yīng)用。
“帶外管理”方案,各虛擬機(jī)平臺(tái)廠商均提供開放接口,nCenter按照開放接口適配各虛擬機(jī)平臺(tái),是開放合作的方案。
采用“帶外管理”方案,不用等待虛擬機(jī)平臺(tái)支持802.1Qbg標(biāo)準(zhǔn)的VDP,現(xiàn)在就可以用虛擬機(jī)平臺(tái)的開放接口,實(shí)現(xiàn)虛擬機(jī)的網(wǎng)絡(luò)感知。
因此,華為nCenter采用了“帶外管理”方案,開放支持VMware、Citrix Xen,以及微軟Hyper-V等虛擬化平臺(tái)。
繁忙的機(jī)場需要高效的調(diào)度技術(shù)
nCenter向網(wǎng)絡(luò)設(shè)備下發(fā)策略配置,可以采用命令行、SNMP或NETCONF等方式,但在原型測試中,發(fā)現(xiàn)性能只能達(dá)到每秒10~20個(gè)虛擬機(jī)上線;而采用RADIUS協(xié)議,原型測試結(jié)果能夠達(dá)到每秒200個(gè)虛擬機(jī)上線,這個(gè)性能能夠滿足多大規(guī)模的虛擬機(jī)“起降”呢?
讓我們來計(jì)算一下,假設(shè)有N個(gè)物理服務(wù)器,其中1/2忙,每個(gè)忙的服務(wù)器需要將4個(gè)VM(測試數(shù)據(jù),受限于帶寬和CPU能力)遷移出去,每個(gè)虛擬機(jī)的遷移時(shí)間為3分鐘(180秒)。則每秒處理虛擬機(jī)遷移數(shù)量為:N/2×4/180。
如果是1萬臺(tái)物理服務(wù)器,則每秒處理虛擬機(jī)遷移數(shù)量為:10000/2×4/180=111。
200個(gè)虛擬機(jī)每秒的處理性能,可以滿足:200×180/4*2=18000臺(tái)物理服務(wù)器的云計(jì)算環(huán)境。
nCenter采用RADIUS協(xié)議,能夠滿足近2萬臺(tái)物理服務(wù)器的云計(jì)算環(huán)境虛擬機(jī)突發(fā)大規(guī)模“起降”。
虛擬機(jī)“起降”
在虛擬機(jī)“起降”的過程中,nCenter負(fù)責(zé)網(wǎng)絡(luò)策略的遷移,和虛擬機(jī)平臺(tái)vCenter配合,保證了流程處理的及時(shí)、準(zhǔn)確和自動(dòng)化。
下圖是虛擬機(jī)遷移的流程:
遷移前的拓?fù)洌簻?zhǔn)備將“Purple”這個(gè)VM遷移到服務(wù)器.52上
① vCenter啟動(dòng)VM遷移。
② 進(jìn)行VM遷移。
① vCenter通過開放接口通知nCenter遷移開始。
② nCenter通知目的TOR交換機(jī)VM上線,上線信息中包含VM的身份信息:VM的MAC地址、VLAN信息、應(yīng)用的策略模板ID。
③ 目的TOR通過RADIUS協(xié)議向nCenter申請VM策略(ACL、QoS、DHCP Snooping綁定表)。
④ nCenter內(nèi)置的RADIUS服務(wù)器響應(yīng)目的TOR的申請,將VM綁定策略應(yīng)答給目的TOR,目的TOR收到后,解析出VM的策略,完成轉(zhuǎn)發(fā)配置。
⑤ vCenter通過開放接口通知nCenter遷移完成。
⑥ nCenter通知源TOR交換機(jī)VM下線。
⑦ 源TOR接收到下線通知,刪除本地策略的同時(shí),通過RADIUS的用戶下線接口通知RADIUS服務(wù)器更新用戶在線狀態(tài)。
遷移后的拓?fù)洌禾摂M機(jī)“Purple”已經(jīng)成功遷移到服務(wù)器.52上
華為虛擬感知解決方案總結(jié)
華為虛擬感知解決方案以nCenter為核心,和各種虛擬化平臺(tái)vCenter開放兼容,在接入交換機(jī)上及時(shí)下發(fā)靜態(tài)配置、動(dòng)態(tài)表項(xiàng),實(shí)現(xiàn)了對服務(wù)器虛擬化環(huán)境的全面支持,通過開放高效的網(wǎng)絡(luò)“指揮塔”,真正建立起供虛擬機(jī)自由“起降”的“云機(jī)場”。
讓我們回顧一下前面分析的網(wǎng)絡(luò)和虛擬機(jī)配合的問題:
管理界面:系統(tǒng)管理員只需要管理服務(wù)器、虛擬機(jī),網(wǎng)絡(luò)管理員負(fù)責(zé)管理虛擬交換機(jī)、物理交換機(jī)、虛擬機(jī)的網(wǎng)絡(luò)屬性,管理界面清晰。
可視運(yùn)維:nCenter提供虛擬機(jī)、虛擬交換機(jī)、物理服務(wù)器、物理交換機(jī)的一體化拓?fù)湟晥D,方便故障定位。
虛擬感知:虛擬機(jī)創(chuàng)建、遷移,都能夠得到及時(shí)感知、處理,網(wǎng)絡(luò)開通速度快,和虛擬化平臺(tái)、服務(wù)器的兼容性好。
結(jié)束語
華為虛擬感知解決方案,為虛擬機(jī)的應(yīng)用打通了網(wǎng)絡(luò)之“脈”,助力數(shù)據(jù)中心進(jìn)一步擴(kuò)大虛擬機(jī)的應(yīng)用,降低IT成本,提高IT效率。相信在不久的將來,一定能夠建設(shè)起來完全虛擬化、自動(dòng)化、高效的云計(jì)算基礎(chǔ)設(shè)施,以IaaS的方式支持大容量、多樣化的業(yè)務(wù)應(yīng)用系統(tǒng),更好地滿足支撐業(yè)務(wù)運(yùn)營創(chuàng)新發(fā)展的需要。
[1]截至2012年4月15日,802.1Qbg尚未成為標(biāo)準(zhǔn)