看這些數(shù)據(jù)中心錯(cuò)誤有多蠢！
原創(chuàng)【51CTO 8月17日外電頭條】在導(dǎo)致數(shù)據(jù)中心故障的所有罪魁禍?zhǔn)字?，技術(shù)問題所占比例很小，而人為錯(cuò)誤卻占據(jù)了大約70%的份額。由于某員工無意中把兩條網(wǎng)線連接到一臺(tái)錯(cuò)誤的網(wǎng)絡(luò)集線器上，整個(gè)校園網(wǎng)絡(luò)陷入癱瘓狀態(tài)；一名員工在進(jìn)入一數(shù)據(jù)中心時(shí)由于路徑不熟竟掉入“陷阱”而受傷；在數(shù)據(jù)中心的溫控器設(shè)置被人從華氏溫度改為攝氏溫度后，系統(tǒng)由于過熱而宕機(jī)。類似情況舉不勝舉，大多數(shù)據(jù)中心災(zāi)難并非緣自技術(shù)問題或自然災(zāi)害，而是人為失誤（51CTO推薦閱讀：數(shù)據(jù)中心管理錯(cuò)誤四常見）。
根據(jù)數(shù)據(jù)中心性能研究機(jī)構(gòu)紐約正常運(yùn)行時(shí)間學(xué)會(huì)(UPTIMEINSTITUTE)所提供的數(shù)據(jù)，目前人為失誤引發(fā)了大約70%的數(shù)據(jù)中心故障。該機(jī)構(gòu)副總裁朱利安·庫德里斯基（JulianKudritzki）表示，他們分析了4500起數(shù)據(jù)中心事故，其中包含400次完全宕機(jī)事件，最后得出如上結(jié)論。庫德里斯基最近還發(fā)布了保持?jǐn)?shù)據(jù)中心可持續(xù)性運(yùn)營(yíng)的一套指南。
庫德里斯基稱，該結(jié)論并不令人感到意外，“運(yùn)營(yíng)管理是你最大的弱點(diǎn)，但它也是避免宕機(jī)的最大機(jī)遇。好在你可以對(duì)數(shù)據(jù)中心人員進(jìn)行重新教育。”
市場(chǎng)研究公司Pund-ITResearch分析師查爾斯·金(CharlesKing)表示，不管是因?yàn)榇笠?，還是因?yàn)榕嘤?xùn)不夠、最終用戶干涉、資金緊張或簡(jiǎn)單的錯(cuò)誤，人為失誤是不可避免的。由于當(dāng)今IT系統(tǒng)日益復(fù)雜，數(shù)據(jù)中心工作人員工作時(shí)間過長(zhǎng)，一些本來可以避免的小故障卻時(shí)有發(fā)生。而且隨著企業(yè)越來越依賴于技術(shù)來達(dá)到自己的商業(yè)目標(biāo)，這些錯(cuò)誤已經(jīng)變得更加危險(xiǎn)，讓企業(yè)付出的代價(jià)也越來越高。#p#
錯(cuò)誤連線致交換機(jī)超載
印第安納醫(yī)科大學(xué)安全分析師杰拉米·杰伊·鮑爾斯（JeramyJayBowers）表示，四年前由于一名IT員工誤將兩條網(wǎng)絡(luò)線纜連接到一臺(tái)下行集線器上，該大學(xué)數(shù)據(jù)中心交換機(jī)出現(xiàn)了超載現(xiàn)象。
這次事故發(fā)生時(shí)，鮑爾斯是該學(xué)校的系統(tǒng)工程師，該學(xué)校的IT部門有兩處辦公場(chǎng)所，一處在學(xué)校辦公樓，另一處則在相鄰的學(xué)校附屬醫(yī)院大樓上，鮑爾斯認(rèn)為這本身就不是一種合理的網(wǎng)絡(luò)設(shè)計(jì)方案。
兩處辦公場(chǎng)所通過一條光纜連接，在醫(yī)院大樓的IT辦公室中，該光纜被連接在一臺(tái)12口交換機(jī)上。鮑爾斯表示，IT人員可以輕松的把該設(shè)備從校園網(wǎng)斷開，然后通過墻上的插座將其連接到醫(yī)院網(wǎng)絡(luò)中。
有一天鮑爾斯在家休息時(shí)接到電話，得知學(xué)校服務(wù)器機(jī)房的交換機(jī)超載，導(dǎo)致它托管的所有服務(wù)都無法備訪問。鮑爾斯表示，當(dāng)數(shù)據(jù)包通過時(shí)，正常情況下交換機(jī)綠色指示燈會(huì)不斷閃爍，但此時(shí)它們卻基本是長(zhǎng)亮狀態(tài)。
鮑爾斯立即通過電話開始排障。他可以確定校園網(wǎng)絡(luò)沒有進(jìn)行過任何修改。然后他想到了上面提到的光纜。他讓同事拔下這條光纜，結(jié)果超載交換機(jī)恢復(fù)正常；再插上該光纜后，該交換機(jī)又超載。這說明問題出在該光纜的另一端，也就是附屬醫(yī)院大樓那邊。
最后被查明的故障原因是，一名IT人員由于項(xiàng)目需要?jiǎng)倓偘岬结t(yī)院IT辦公室，由于需要連接更多設(shè)備到網(wǎng)絡(luò)中，他無意中將兩條來自校園網(wǎng)交換機(jī)的網(wǎng)線插到同一臺(tái)新增的集線器上，這樣就在網(wǎng)絡(luò)中形成了一個(gè)環(huán)，數(shù)據(jù)在該環(huán)中不斷被重復(fù)發(fā)送，最后導(dǎo)致校園網(wǎng)交換機(jī)的超載。
雖然這次事故并沒有讓學(xué)校IT部門改變現(xiàn)有不合理的網(wǎng)絡(luò)設(shè)計(jì)，但至少現(xiàn)在IT部門知道一件事情：私自亂接網(wǎng)線的行為是不對(duì)的。通過這次事件鮑爾斯確信，相比技術(shù)錯(cuò)誤，人為錯(cuò)誤所帶來的故障數(shù)量要更多一些。#p#
節(jié)省35美元丟失所有數(shù)據(jù)
節(jié)省投資當(dāng)然沒錯(cuò)，但如果省了不該省的錢，可能最后的結(jié)果是付出更大的代價(jià)。在下面的例子中，一公司因?yàn)闆]有多花35美元再多購買一個(gè)備份磁帶，導(dǎo)致所有數(shù)據(jù)丟失（51CTO推薦文章：最易掌握的數(shù)據(jù)中心備份十三法）。
1999年，查爾斯·巴伯（CharlesBarber）在一家醫(yī)療器械公司擔(dān)任技術(shù)支持經(jīng)理，該公司生產(chǎn)一種基于服務(wù)器的獨(dú)立設(shè)備，用來連接到跑步機(jī)來收集患者壓力測(cè)試數(shù)據(jù)。該公司的客戶之一是圣路易斯的一家小型醫(yī)療診所，該診所的行政助理同時(shí)也兼任著IT人員。
巴伯表示，這位行政助理能力很強(qiáng)，但她不是一名經(jīng)過專業(yè)培訓(xùn)的IT人員。
在一個(gè)周五的晚上，她聽到該設(shè)備的服務(wù)器發(fā)出奇怪的噪音，意識(shí)到硬盤出現(xiàn)了故障。周六她購買了一塊新硬盤，在備份了原先數(shù)據(jù)資料后，在新硬盤上安裝了微軟的WindowsServer和SQLServer。巴伯曾經(jīng)告訴過她如何配置服務(wù)器的步驟，因此這位行政助理按照該步驟順利完成配置工作。
然后她在周日和周一開始恢復(fù)數(shù)據(jù)并對(duì)系統(tǒng)進(jìn)行測(cè)試，測(cè)試一切正常，周一晚些時(shí)候開始正式投入使用，對(duì)一名患者進(jìn)行了正式測(cè)試。
但周二早晨她致電巴伯稱，她從備份磁帶恢復(fù)到服務(wù)器上的所有數(shù)據(jù)信息丟失了。巴伯解釋道，“她每天對(duì)整個(gè)系統(tǒng)進(jìn)行了一次完全備份，不幸的是，當(dāng)她去重新安裝其備份時(shí)，看到的所有數(shù)據(jù)就是周一那位患者的數(shù)據(jù)。”
由于她只有一塊備份磁帶，而這塊磁帶已經(jīng)被用來備份周一測(cè)試數(shù)據(jù)，但卻忘記了這會(huì)清除此前的所有歷史數(shù)據(jù)。巴伯表示，一塊磁帶的價(jià)格約為35美元，真希望她的老板多花點(diǎn)錢讓她多買一塊磁帶，但現(xiàn)在結(jié)果是丟失了三個(gè)月的數(shù)據(jù)。#p#
存在兩年之久的“洞”
有時(shí)候數(shù)據(jù)中心中的某些事故注定早晚會(huì)發(fā)生，但每天在那兒工作的人卻又對(duì)它熟視無睹，而新來的人卻往往能立刻發(fā)現(xiàn)它們。
艾德·古爾德（EdGould）是一名退休的IT從業(yè)人員，在20世紀(jì)80年代曾就職于芝加哥一家安全公司擔(dān)任系統(tǒng)程序員。他入職一個(gè)月后，發(fā)現(xiàn)了公司數(shù)據(jù)中心存在的一個(gè)明顯的威脅。
在該公司，程序員一般會(huì)把磁帶交給數(shù)據(jù)中心運(yùn)營(yíng)人員，然后由后者安裝到機(jī)房中。有一天運(yùn)營(yíng)人員工作比較繁忙，無法安裝古爾德交給他們的磁帶，因此古爾德決定自己去安裝。他剛進(jìn)入數(shù)據(jù)中心沒走幾步，就掉到一個(gè)約兩英寸半深、比薩餅大小的坑中，隨后運(yùn)營(yíng)人員把他拉起來。他問運(yùn)營(yíng)人員為什么會(huì)在地板上有這樣一個(gè)洞。運(yùn)營(yíng)人員表示，這個(gè)洞兩年前就有了，他們自己已經(jīng)習(xí)慣了它的存在，因?yàn)槭熘奈恢盟圆粫?huì)掉下去。
后來古爾德把此事匯報(bào)給一位副總，然后到醫(yī)院檢查了一下身體。這位副總也是第一次知道該“洞”的存在，并在幾天內(nèi)對(duì)其進(jìn)行了修復(fù)。
令古爾德感到驚訝的是，數(shù)據(jù)中心內(nèi)的這個(gè)威脅竟然一直存在了如此長(zhǎng)時(shí)間，而在這兒工作的人員卻對(duì)其熟視無睹，只是選擇繞著它走。#p#
類似人禍行為
數(shù)據(jù)中心中由人為錯(cuò)誤引發(fā)的事故舉不勝舉，在國外知名IT網(wǎng)站《ComputerWorld》的SharkTank專欄中，IT管理者們已經(jīng)發(fā)表了數(shù)百個(gè)此類案例。
美國阿瑞桑那州一家空軍基地的工程師約翰·艾爾（JohnEyre）表示，20世界80年代中期，該基地需要為新添置的王安電腦安裝新線纜，每臺(tái)計(jì)算機(jī)需要通過同軸電纜連接到終端，廠商推薦使用兩英寸管道來傳輸線纜。
艾爾認(rèn)為該管道不足以容納所使用線纜，但由于它是王安電腦公司所推薦的，艾爾的領(lǐng)導(dǎo)還是決定按廠商建議來做。
當(dāng)所有線纜被鋪設(shè)好后管理者發(fā)現(xiàn)，在每處使用該管道傳輸線纜的地方，線纜都已經(jīng)裸露出銅芯，無法繼續(xù)使用。整個(gè)線路安裝工作不得不重新進(jìn)行，導(dǎo)致整個(gè)工期延遲了9個(gè)月之久。
艾爾表示，由此事件得到一個(gè)教訓(xùn)是，欲速則不達(dá)，一味求快反而引發(fā)重重問題。
另外一個(gè)例子是，在某數(shù)據(jù)中心，由于有人將溫控器的溫度單位由華氏溫標(biāo)改成了攝氏溫標(biāo)，因此在64攝氏溫度下，服務(wù)器機(jī)房簡(jiǎn)直就變成了一個(gè)蒸籠（51CTO推薦專題：北京熱死你 機(jī)房?jī)鏊滥?/a>）。#p#
如何減少人為失誤？
那么對(duì)于數(shù)據(jù)中心災(zāi)難來說，什么才是更危險(xiǎn)的因素？是系統(tǒng)還是配置和維護(hù)系統(tǒng)的人？正常運(yùn)行時(shí)間學(xué)會(huì)的庫德里斯基表示，答案是兩者都必須重視。
他補(bǔ)充道，要想擁有一個(gè)運(yùn)營(yíng)良好的數(shù)據(jù)中心，必須重視運(yùn)行系統(tǒng)或與系統(tǒng)交互的人。如果管理者能投入時(shí)間在員工水平、培訓(xùn)、維護(hù)和運(yùn)營(yíng)等方面作出謹(jǐn)慎決策，往往能夠避免多數(shù)災(zāi)難，從而獲得最大在線時(shí)間。
Pund-IT的查爾斯·金警告稱，對(duì)于導(dǎo)致數(shù)據(jù)中心停擺的人為因素，管理者不應(yīng)簡(jiǎn)單采取快速修補(bǔ)的方式。高效的人員管理需要深思熟慮后才能得出正確的策略。
他表示，解決這些人為因素需要系統(tǒng)性的策略和方案，但培訓(xùn)計(jì)劃通常是局部和面向任務(wù)的做法。
查爾斯·金表示，盡管多數(shù)員工非常了解他們所使用的技術(shù)，但很少有人意識(shí)到數(shù)據(jù)中心本身是一個(gè)高度復(fù)雜和相關(guān)關(guān)聯(lián)的系統(tǒng)。如果培訓(xùn)計(jì)劃和訓(xùn)練能夠強(qiáng)調(diào)對(duì)數(shù)據(jù)中心管理的整體性，可能有助于解決這類問題。
作者：CaraGarretson 原文題目：Stupiddatacentertricks
【本文是51CTO原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)務(wù)必標(biāo)明出處和作者】
【編輯推薦】
