[[151855]]

分享人：

　　蘇永華：盛大游戲高級研究員，負責盛大游戲及G云網絡架構規劃及運維。

　　在此之前先后就職于中國郵政負責綠卡系統運維、騰訊公司負責數據中心的建設及規劃。在網絡、數據中心規劃、建設方面擁有比較豐富的經驗。

　　分享實錄

　　目前市面上的云產品層出不窮，對于用戶來說選擇一款適合于自己業務的云至關重要。這要求用戶選擇的云產品除了與自己的業務需求契合度高之外，還要運行穩定、可用率高。

　　對于各種云平臺來講除了技術上的差異外，有一點是相同的，他們的資源都是部署在IDC機房和運營商網絡上的。因此選擇一個穩定的IDC和網絡供應商來承載各自的云平臺是各云服務提供商的首要任務。

　　之前力哥已share過G云COO馮總的相關IDC選擇的文章，在文中著重對個運營商網絡和節點做了闡述，因此，我會在其他方面多說一點，經驗不足支持請大家多多包涵。

　　選擇運營商骨干節點所在地區的IDC、網絡一般為單線，電信和聯通骨干節點所在地一般都是省會城市，IDC和網絡普遍具有以下特點：

　　1.建設等級高，基礎設施好：所建設的IDC等級相對較高，屬于運營商4星級以上機房，電力、空調、柴發等基礎設施都具有N+1或N+N的冗余，高可用性較好。一般不會因基礎設施問題導致云平臺服務小時級別的中斷。

　　2.運維經驗豐富、運維力量強：由于是骨干節點，IDC和網絡的重要性較強，運營商會配備本區域最富有經驗的維護人員團隊，因此無論基礎設備問題還是網絡方面的問題，均可以得到比較迅速的定位或者協調資源來解決。

　　3.網絡接入層級高、擴展方便：網絡方面，骨干節點地區IDC一般一跳就會至省級或集團骨干網，甚至有的重點IDC核心設備直連骨干網C級設備。與其他地區相比減少了很多中間傳輸線路，降低了故障率且在帶寬擴展性也非常的便利。

　　4.運營規范、服務到位：與其他地區相比運營IDC的時間都比較長而且有比較規范和完善的SLA，在服務方面比較到位。可以為客戶省卻大量的前期溝通成本。

　　從客戶群體來看排名靠前的互聯網企業例如BAT等都在這些地區有大量的部署，經過BAT對運營商服務質量、IDC基礎條件、運營規范等方面的推動，運營商在服務意思和安全防范上無論從橫向還是縱向來講都是比較領先的。

　　G云部署在南京、上海、天津、廣州等地機房都屬于此類型的IDC，IDC和網絡運行多年都非常平穩，每年基本可達到99.95%的可用率。

　　內容包括三個主題：

　　◆BGP機房和網絡的選擇

　　◆BGP在G云中的應用

　　◆墨菲定律對運維的啟示

　　一、BGP機房和網絡的選擇

　　BGP網絡融合了三大運營商甚至更多運營商線路，既可以解決國內運營商之間互聯互通問題，也有效解決了有些業務對于多IP多線路架構上的不支持。因此，對于用戶在不同時間段多運營商無縫接入的手游等類型業務特別適合。但是因BGP網絡融合了多運營商線路，故對于網絡故障率和故障后產生的影響都增大了很多，選擇一個比較靠譜的BGP機房和網絡非常重要!

　　對于BGP實現方式來講，國內95%以上的BGP線路都不是全網穿透式BGP，一部分是與單個運營商網內BGP廣播互聯，一般是與運營商進行靜態廣播完成的；有的線路是采用本地運營商的資源，有的則是通過長途鏈路從外地引入至本地的。因此不同的方式、不同的線路資源對于網絡的可用性、價格都影響較大。云平臺對BGP機房和網絡的選擇主要注意以下幾個方面：

　　1.BGP機房的選擇---機房等級高、基礎設施有冗余

　　國內目前有能力承建IDC并很好的對外服務的運營商除三大基礎運營商外，僅有世紀互聯、鵬博士、萬國數據等少數運營商有實力。其他的二級運營商一般都是租用或與基礎運營商合作的方式來發展BGP機房業務，為了降低成本有些運營時間較久或建設等級不高的機房會推向市場。這些機房的基礎設施都比較老化甚至一些關鍵設施如UPS等都無冗余，運營隱患非常大，因此在選擇BGP機房時要注意IDC運營的年限、建設的等級和關鍵基礎設施的冗余。

　　2.BGP網絡的選擇---覆蓋好、本地線路資源

　　目前BGP網絡覆蓋全國資源較好的的確是北京，北京的基礎運營商相對比較開放也是BGP網絡發展和運營最好的地區。廣東地區發展次之。為保證BGP網絡的品質，最好選擇北京當地基礎運營商廣播接入的運營商。二級運營商為了節省成本或規避當地運營商的接入限制，有些線路資源從河北等地調度至北京，或把北京等地的資源調度至外地使用。除了造成延時大增外，還會有長途鏈路傳輸上的不可靠等隱患。這些都可以通過網絡檢測工具ping、tracert路由分析來判斷線路資源是否屬于本地。

　　3.客戶群體高端或垂直，防Ddos攻擊能力強

　　BGP網絡因成本、資源等原因抗Ddos攻擊能力比較弱，目前行業內BGP機房防Ddos的能力一般在5G左右，目前國內的攻擊成本較低，因此現在網絡遭受Ddos等安全攻擊已成為常態。對于BGP運營商來說機房內客戶的規模和其業務的合規性對于減少Ddos攻擊數量有很大作用。

　　目前G云平臺一般選擇散戶少、垂直用戶多的BGP運營商作為合作伙伴，傳奇、九陰等眾多對端游、手游對網絡要求較高的業務都在上面運行的良好。

　　二、BGP在G云中的應用

　　1.BGP簡介

　　BGP是一種路由協議，目前internet上大型網絡或者機構運行的協議絕大多數都是BGP，他協議傳輸可靠，更新消耗小，而且具備豐富的路由選擇的策略，能夠支持數十萬甚至百萬路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景，一般情況下都是選擇使用BGP協議。

　　2.運營商BGP線路的那些事

　　由于國內多運營商的存在及互聯互通問題，很多公司基于業務的特點希望所在的數據中心網絡能夠覆蓋越多用戶越好，且希望架構簡單。因此選擇多線路接入的BGP資源成為其必然選擇。就運營商而言目前IDC出口類型主要分以下幾種：　

　　第一種：靜態鏈路，通過靜態路由與運營商互聯，運營商PE設備為城域網級別設備，這種方式最簡單，而且價格便宜，一般為十幾元至一百多元每兆，缺點是：無法穿透其他運營商且無法根據路由權值做路由選路策略。　　

#p#

　　第二種BGP廣播鏈路：與運營商進行對等互聯BGP連接，PE設備為骨干設備。需要擁有自己的IP地址和AS號，優勢是，可以接受運營商的國內所有路由及發送自己的公網業務路由，豐富路由策略權值做路由調整使用。

　　這種方式鏈路租費和廣播費用昂貴，且需要強大的運營商關系。每兆價格在幾百元甚至千元。

　　第三種：靜態代播，靜態鏈路的衍生版本，通過靜態路由與運營商互聯，接入PE設備為城域網級別設備，運營商用靜態路由指入互聯，并用OSPF重分布將靜態路由廣播至全網，要求接入商必須有自己的ip地址。

　　此種方式在操作時，在靜態鏈路的價格上還要付費給運營商IP廣播費用一般為十幾至幾十元每IP、每月。此種方式也無法靈活的根據路由的權值做路由的選路。

　　各機房間采用BGP協議，方便路由靈活、敏捷的切換及多協議的擴展。對于一些較為邊緣的機房則采用gre over ipsec的方式接入G云骨干網核心。G云機房還在根據業務的發展，與運營商進行BGP互聯，建設自有的BGP出口資源。

　　由于BGP協議和資源使用方面相對都比較成熟了，相關的優缺點和走過的艱辛就不在此多說，因此在此僅僅與大家分享一下機房之間gre over ipsec備份線路互聯時值得注意的點：

　　1.MTU問題，機房間做了GRE IPSEC后，數據包頭大小是有變化的，需要考慮GRE和ipsec對包頭的大小的影響，因此在內網傳輸數據或業務使用時一定要注意數據包分片問題，及時調整系統或者網絡設備的MTU值。

　　2.Ipsec加密對網絡設備是有消耗的，一般來說對數據進行des加密，對于cisco3945E設備，其效率是3des的4倍，當cisco 3945E運行 IPsec時；單向加或解密延時2.5ms，In+Out加解密延5ms，兩端雙向10ms ，ciscoASR路由器IPsec無延遲。Cisco 3945E 采用ESP-DES加密時內存占650M，CPU 50%。因此請大家在實施是根據數據中心在內網中的定位和需求靈活的對設備進行選型。

　　三、墨菲定律對運維的啟示

　　二十世紀西方文化中最杰出的三大發現就是墨菲定律、帕金森原理、彼得定理了，其中墨菲定律的主要意思是只要事情存在問題，他總會發生。我和很多朋友在數據中心和網絡、系統崗位掙扎多年，對此感受頗深，也有相當多的案例可以佐證。先說一個近期的案例，一朋友在機房搬遷時，大部分工作都操作完畢，最后僅僅是Ddos安全設備未與安全同事確認部署效果，加上連續奮戰太累就先回去休息了，以為安全攻擊是較小概率事件，因此即時有問題，下午也可以很快搞定。結果在上午休息過程中，該機房某款業務就遭受到數次了大流量Ddos攻擊，導致整機房業務受損嚴重。

　　近來的Ctrip事件、青云、阿里云運營事件的產生從某種角度來說都有墨菲定律的影子。因此對于我們來講主要有以下啟示：

　　1.重視細節、重視流程

　　無論做變更操作還是版本發布及其他運維操作，在細心的同時嚴格按照流程和規范操作，比如小到變更流程、回退操作，發布流程大到運營管理和項目管理，使規范流程的意識深深的烙印在心里。無論是人為操作或者系統自動操作都有出紕漏的可能，按照規范流程操作可以有效的保護我們，使我們免于背負不必要的黑鍋。

　　2.要有樂觀積極心態，千萬不能受負面情緒影響

　　在做運維過程中，任何操作都是戰戰兢兢、小心翼翼，若沒有積極樂觀的心態和強大的自信心，估計做不了幾年運維，精神上就無法負荷了，肯定會被壓垮，從而會導致更大的錯誤出現，乃至影響到自身的生活。因此，我們必須要有積極的心理暗示，強大的自信心來面對我們的工作，甚至客戶、老板，只有這樣才能在工作中游刃有余、穩步推動。也希望各位做運維的兄弟能夠團結起來，進行資源、信息、知識共享降低運維的門檻。

　　提問環節：

　　問題1：運營商BGP線路里面，類型3和1相比的優勢在哪？

　　答：類型1是目前單線或者雙線機房常用的方式就是與運營山谷進行靜態路由方式互聯就是我們所謂的雙線雙IP，類型3是所謂的假bgp，即一個IP分別讓幾個運營商進行靜態網內代播，運營商之間不能穿越。

　　問題2：有無做過TCP OVER ANYCAST這種網絡架構的測試？

　　答：暫時沒有進行測試，后續會有計劃對DNS over anycast的技術進行研究，屆時可以一起交流。

　　問題3：你們租機房的適合會考慮備份系統有效性嗎?

　　答：備份系統有效性更多是從業務層面驗證，對于基礎性機房選擇的話更多的我們會從基礎設施(電、制冷、柴發)和網絡穩定性去考慮。目前對于重要的業務系統例如計費認證類型的一般在同城都有災備，而且同城各機房間會采用裸光纖進行環狀互聯，以保證關鍵數據傳輸的高可用性。