【51CTO.com快譯】有個(gè)AWS工程師在調(diào)查Northern Virginia (US-EAST-1) Region上S3的一個(gè)和賬務(wù)系統(tǒng)相關(guān)的問題時(shí)，有一條命令敲錯(cuò)了，結(jié)果移除了大量的S3的控制系統(tǒng)，最終導(dǎo)致AWS S3出現(xiàn)故障。

根據(jù)AWS方面于本周四發(fā)布的報(bào)告，此前出現(xiàn)的長達(dá)數(shù)小時(shí)的AWS主站離線與服務(wù)宕機(jī)事故源自一項(xiàng)輸入錯(cuò)誤。

該云基礎(chǔ)設(shè)施服務(wù)供應(yīng)商發(fā)布了以下說明：

Amazon簡單存儲服務(wù)（簡稱S3）團(tuán)隊(duì)當(dāng)時(shí)正在對一項(xiàng)導(dǎo)致S3計(jì)費(fèi)系統(tǒng)運(yùn)行緩慢的問題進(jìn)行調(diào)試。于當(dāng)天上午9：37（太平洋時(shí)間），一位授權(quán)S3團(tuán)隊(duì)成員利用一份已經(jīng)過確認(rèn)的playbook執(zhí)行一條命令，旨在移除某S3子系統(tǒng)內(nèi)的少部分負(fù)責(zé)實(shí)現(xiàn)S3計(jì)費(fèi)流程的服務(wù)器。遺憾的是，命令中的一條輸入結(jié)果存在拼寫錯(cuò)誤，最終導(dǎo)致大部分服務(wù)器遭到意外移除。

這項(xiàng)錯(cuò)誤無意中導(dǎo)致美國東一服務(wù)區(qū)（為Amazon旗下歷史最為悠久的大規(guī)模數(shù)據(jù)中心）內(nèi)全部S3對象所高度依賴的兩套關(guān)鍵子系統(tǒng)。兩套系統(tǒng)需要全面重啟。而整個(gè)修復(fù)過程加上其它一些必要的安全性檢查“所需要的時(shí)間比預(yù)期更長”，Amazon方面指出。

盡管兩套已經(jīng)當(dāng)時(shí)已經(jīng)得到重啟，但S3仍然無法正確響應(yīng)請求。該服務(wù)區(qū)中其它依賴于S3的AWS服務(wù)亦受到影響，具體包括S3控制臺、Amazon彈性計(jì)算云（簡稱EC2）新實(shí)例啟動、Amazon彈性塊存儲（簡稱EBS）分卷（限于需要讀取S3快照的數(shù)據(jù)）以及AWS Lambda。

Amazon方面指出，其中的索引子系統(tǒng)已經(jīng)于當(dāng)天中午1:18（太平洋時(shí)間）完全恢復(fù)，而放置子系統(tǒng)則在中午1：54（太平洋）恢復(fù)。到這里，S3已經(jīng)能夠正常運(yùn)轉(zhuǎn)。

AWS同時(shí)指出，其正在根據(jù)此次事故進(jìn)行“數(shù)項(xiàng)調(diào)整”，具體包括采取舉措以避免未來再次因錯(cuò)誤輸入引發(fā)類似問題。

“盡管移除容量屬于一項(xiàng)關(guān)鍵性操作實(shí)踐，但在目前的情況下，我們使用的工具在移除容量時(shí)的執(zhí)行速度過快，”AWS在博文中解釋稱。“我們已經(jīng)對此工具進(jìn)行了修改以更慢進(jìn)行容量清除，同時(shí)增加了安全措施以防止任何子系統(tǒng)在容量移除后遭遇現(xiàn)有容量低于***容量需求的情況。”

另外，AWS還采取了其它一些值得關(guān)注的舉措：將索引子系統(tǒng)拆分成更小的功能單元。該公司亦變更了AWS服務(wù)狀態(tài)儀表板的管理控制臺，確保其能夠跨多個(gè)AWS服務(wù)區(qū)實(shí)現(xiàn)運(yùn)行。（諷刺的是，此次輸入錯(cuò)誤導(dǎo)致該儀表板于周二失靈，因此AWS方面必須依靠Twitter向客戶發(fā)布問題的動態(tài)更新。）

原文標(biāo)題：Amazon knocked AWS sites offline because of typo  原文作者：Stephanie Condon

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】