突遭斷網(wǎng)斷電！阿里雙11最驚險一幕曝光...
2020 年 11 月 11 日晚，又一年天貓雙 11 狂歡接近尾聲。新交易紀錄、新流量峰值，一切都是十全十美的樣子。
圖片來自 Pexels
此時，阿里巴巴 CTO 程立(魯肅)才將一段實錄視頻公之于眾：
11 月 5 日凌晨，阿里技術(shù)上下完成雙 11 大考期間最后一次全鏈路壓測后休息和交接間隙……服務(wù)器連續(xù)遭遇了兩次攻擊。
第一次，凌晨兩點左右，監(jiān)控大屏顯示四個地區(qū)數(shù)據(jù)中心數(shù)值迅速下跌，技術(shù)保障團隊啟動緊急響應(yīng)處理，確定遭遇了斷網(wǎng)攻擊。
緊接著第二次，2:10，更兇猛直接的攻擊來了。華東區(qū)域某個數(shù)據(jù)中心，直接被拉閘斷了電……
但最令人震驚的是，這一切居然是阿里巴巴合伙人、雙 11 新零售技術(shù)負責人吳澤明(花名范禹)干的。
突然襲擊，實彈攻擊
這不是事先明確的一次突襲。
甚至只有范禹和霜波——阿里雙 11 技術(shù)大隊長、技術(shù)安全生產(chǎn)負責人陳琴“小范圍”知道。
但是即便如此，陳琴看到這次斷網(wǎng)攻擊時還是嚇了一跳，因為與之前商定的攻擊量級并不符合。
當時，明面上壓測已經(jīng)結(jié)束，參與的阿里技術(shù)工程師們，有的在進行夜宵補給，有的在工位上小憩休息，對于這次意料之外的實彈攻擊，沒有一點點防備。
慶幸的是，技術(shù)保障上下訓(xùn)練有序。迅速鎖定故障源頭，啟動應(yīng)急方案，緊急展開修復(fù)……
僅 1 分 28 秒，一切如故。
甚至如果恰好有在那時下單的用戶，都難以察覺有過“抖動”。
對于阿里技術(shù)上下，雖然事出突然毫無防備，但對于這樣的突襲應(yīng)對，已然肌肉記憶一樣……因為在阿里，這種突襲早已普遍而日常，還有專門因此形成的紅藍軍對抗。
藍軍負責設(shè)計突襲彈藥，常在不經(jīng)意間發(fā)起突襲。紅軍則需要在極短時間內(nèi)修復(fù)故障。
對外，這種技術(shù)突襲和紅藍對抗一直不為人知。
對內(nèi)，無數(shù)次突襲和演練之后，連故障恢復(fù)機制都形成了“1-5-10”的方法論，即在 1 分鐘內(nèi)發(fā)出警報、5 分鐘內(nèi)定位故障、10 分鐘內(nèi)修復(fù)故障。
這也是阿里敢將可用性目標提升到達 99.9999% 的底氣所在。之所以能如此精確，就是因為一次次突襲演練之后得出的結(jié)果。
阿里內(nèi)部，還將這種紅藍軍的偷襲與防守，類比為對系統(tǒng)打疫苗。
故意在可控半徑內(nèi)將故障注入系統(tǒng)以測試系統(tǒng)的響應(yīng)，類似于將少量有害物質(zhì)注入體內(nèi)激發(fā)免疫反應(yīng)以防止未來疾病。
這似乎很瘋狂，但能讓公司提前為包括宕機在內(nèi)的各種故障做好準備，將其影響降至最低。
甚至還有更瘋狂的舉動。阿里為這種突襲專門設(shè)計了 App，簡化成一個“按鈕”，串聯(lián)了阿里巴巴經(jīng)濟體的各種技術(shù)架構(gòu)和業(yè)務(wù)手段。
方便隨時隨地，按下按鈕完成突襲。
它可能發(fā)生在任何時候，比如，某一次會議結(jié)束后所有人都處于放松狀態(tài)時。
這次雙 11 前的突襲攻擊，就出現(xiàn)在范禹閑庭信步走出“光明頂”時——雙 11 核心作戰(zhàn)室內(nèi)沒人察覺異常。
有內(nèi)部工程師把這種偷襲演練與馬斯克 SpaceX 那次知名的“事故逃逸”演習(xí)類比。
核心都是以真實可能發(fā)生的事故，來實際檢驗自身的技術(shù)和應(yīng)急保障機制。
你聽過混沌工程嗎?
Chaos Engineering，混沌工程。
被稱為“故意破壞的藝術(shù)”，主要通過主動制造故障，測試系統(tǒng)在各種壓力下的行為，從而識別并修復(fù)故障問題，以此提高生產(chǎn)環(huán)境中系統(tǒng)的容錯性和可恢復(fù)性，最終實現(xiàn)系統(tǒng)彈性的提升。
在硅谷科技公司中，混沌工程已經(jīng)有過實踐。
2010 年，Netflix 團隊開發(fā)出了 Chaos Monkey——混沌猴子這個工具用于測試系統(tǒng)。
模擬一只討厭的猴子，在系統(tǒng)中隨機位置上蹦下竄，不停搗亂，直到搞掛你的系統(tǒng)。
隨后的幾年里，Netflix 還將混沌猴子在 GitHub 上開源分享，并指出這種隨機故障測試，對測試分布式系統(tǒng)的穩(wěn)定性有傳統(tǒng)方式難以超越的優(yōu)勢。
在這樣一整套原理基礎(chǔ)上，混沌工程師這樣的崗位開始在硅谷出現(xiàn)，角色和功能如這次阿里對外公開的藍軍，把這種隨機破壞性攻擊，變成一種日常測試手段來提升自身的抗災(zāi)能力。
混沌工程是一種專門的理論，本質(zhì)上是一種反脆弱的思想。
如果再往上追溯，哲學(xué)源頭可以找到尼采——殺不死我的必使我更強大。
而對于阿里來說，混沌工程思想理念，與技術(shù)穩(wěn)定體系需求不謀而合，與阿里異地多活、容災(zāi)容錯的發(fā)展需求契合在一起。
實際上從 2010 年左右，阿里電商域開始嘗試故障注入測試的工作，開始的目標是想解決微服務(wù)架構(gòu)帶來的強弱依賴問題。
后來經(jīng)過多個階段的改進，最終演進到 MonkeyKing 線上故障演練平臺。
作為阿里集團使用廣泛的混沌工程平臺，MonkeyKing 不但幫助很多業(yè)務(wù)團隊進行故障演練，提升了業(yè)務(wù)穩(wěn)定性，同時也支撐阿里集團內(nèi)部定期的聯(lián)合演練活動。
2019 年開始，還開始在小范圍生產(chǎn)環(huán)境內(nèi)推進突襲演練，并對外開源了阿里巴巴混沌工程工具 ChaosBlade。
而這次雙 11 前夜的突然襲擊、斷網(wǎng)斷電，本質(zhì)也是混沌工程的一次實踐。
即便雙 11 這樣的節(jié)點里，顯得異常驚險，但對于阿里來說，擁抱「混沌工程」，搞出「紅藍演練」，也是業(yè)務(wù)倒逼的結(jié)果。
被逼出來的阿里
阿里歷史上很多業(yè)務(wù)改革，都與雙 11 密切相關(guān)。
比如「異地多活」，起初就是因為雙 11 很火，流量帶來擴容需求。
阿里集團 CTO 程立就回憶說，2009 年第一次雙 11，因為是淘寶商城臨時決定搞的活動，技術(shù)側(cè)還不太有感覺。
但 2010 年，雙 11 流量一下子漲了好幾倍，服務(wù)器根本不夠用……當時在支付寶的程立，親身經(jīng)歷了把支付寶系統(tǒng)一再瘦身，只留下核心的支付鏈路，才總算扛過了那次交易洪峰。
而其后對于每年迎來新紀錄流量洪峰挑戰(zhàn)的雙 11，阿里開始在平時倒逼改革。
另外，也有一些意想不到的天災(zāi)人禍，帶來容災(zāi)警醒。
2013 年夏天，因為杭州 40° 高溫酷暑，全城電力供應(yīng)極度緊張，而阿里的服務(wù)器機房又是耗電大戶，拉閘限電的威脅迫在眉睫，一旦機房停電，業(yè)務(wù)就關(guān)門大吉了……
上述等等經(jīng)歷，讓阿里技術(shù)意識到，不能再等到下一個高溫酷暑的夏天，不能再等到下一次天災(zāi)教訓(xùn)，再來思考如何保障業(yè)務(wù)穩(wěn)定性。
也不能忽視地域中的物理災(zāi)害，影響到線上數(shù)以億計的用戶。更不能因為基礎(chǔ)設(shè)施的限制，阻礙快速增長的業(yè)務(wù)。
所以先是解決同城多活的挑戰(zhàn)，其后又進一步解決異地多活的世界難題。
都是面對問題和挑戰(zhàn)，倒逼出來的創(chuàng)新。
實際上，這種倒逼出創(chuàng)新的案例，在阿里發(fā)展歷史上比比皆是，例如支付寶研發(fā) OceanBase，阿里云研發(fā)飛天云操作系統(tǒng)……
當年為了支撐雙 11 的流量，支付寶一個不到 100 人的團隊，研發(fā)出可代替甲骨文數(shù)據(jù)庫的 OceanBase 數(shù)據(jù)庫。
今年，在去年雙 11 核心系統(tǒng) 100% 上云后，程立透露——阿里把全副身家性命放到云上，飛天云操作系統(tǒng)、神龍服務(wù)器集群、中臺等數(shù)字新基建還在不斷升級，技術(shù)的溝溝坎坎幾近解決，應(yīng)對峰值不再是最大技術(shù)挑戰(zhàn)。
消費者的熱情越來越高，倒逼阿里技術(shù)持續(xù)進化。而混沌工程和突襲計劃，也是這種倒逼著進化的一部分。
互聯(lián)網(wǎng)本身就充滿了未知和不確定性，例如高溫、洪水、臺風(fēng)、暴雨、地震、雷電等自然災(zāi)害以及人為操作失誤等種種黑天鵝事件，都可能對業(yè)務(wù)造成嚴重打擊。
阿里敢在雙 11 期間對業(yè)務(wù)系統(tǒng)發(fā)起各種高危故障，這種自信源自成熟的突襲機制，而底氣則來自阿里云十年來搭建的災(zāi)備體系。
Gartner 就曾預(yù)測過，2020 年，90% 的容災(zāi)操作會發(fā)生在云端。尤其是大型云服務(wù)商，數(shù)據(jù)中心都遍布全球，是企業(yè)天然的異地災(zāi)備中心。
而阿里云的云災(zāi)備能力無疑處于云廠商第一陣營。
阿里云曾率先在業(yè)內(nèi)提出數(shù)據(jù)中心的“四個不”原則，即不在同一火山地震帶，不在同一水系，不在同一電網(wǎng)，不在同一運營商網(wǎng)絡(luò)出口。這是傳統(tǒng)企業(yè)所不具備的硬實力。
另一方面，阿里云的災(zāi)備能力全面涵蓋了網(wǎng)絡(luò)、數(shù)據(jù)庫、存儲等領(lǐng)域，這是能應(yīng)對各種故障的軟實力。
舉個栗子，在存儲領(lǐng)域，阿里云憑借存儲高可用等能力，持續(xù)三年入選 Gartner 全球云存儲魔力象限，并且被列為全球領(lǐng)導(dǎo)者地位。
所以只有兼具軟硬實力，才能最大程度地保障業(yè)務(wù)和數(shù)據(jù)穩(wěn)定安全。這也是阿里敢把全副身家性命都放在云上的原因之一。
甚至這種「最大程度保障」，還需要考慮到被斷網(wǎng)斷電的極端場景……
所以，拉閘斷電的攻擊成功了嗎?
11 月 5 日凌晨 02:10，阿里華東區(qū)域某一數(shù)據(jù)中心被內(nèi)部拉閘斷電。
瞬間，蓄電系統(tǒng)啟動……服務(wù)器供能無縫切換，未受一絲影響。
4 秒鐘后，柴油發(fā)電機群啟動。電力完全恢復(fù)供應(yīng)，數(shù)據(jù)中心運轉(zhuǎn)如常。
阿里云災(zāi)備體系，至此交了滿分答卷。
混沌工程 ChaosBlade 項目地址：
- https://github.com/chaosblade-io/chaosblade
作者：雷剛
編輯：陶家龍
出處：轉(zhuǎn)載自公眾號量子位(ID：QbitAI)
