在企業的運營中，遭遇一些失敗和困難是不可避免的，采用更新的復雜系統也會遇到無法預料的事件。而企業可以做的就是盡可能地減輕這些事件的損害。

災難準備的一個策略是事件響應——建立程序以盡快解決事件并恢復服務;另一個策略是通過減少單點失敗等策略來減少失敗的機會。以下將討論第三種策略：在出現嚴重問題時，使用備份系統和冗余來快速恢復功能。

擁有備份系統可以讓企業高枕無憂：無論出現什么問題，只需切換到備份系統一段時間，然后一切都將恢復，是這樣嗎?而災難來臨時，真的會這么順利嗎?本文將通過以下幾點幫助企業確保備份系統在最需要的時候能夠按預期運行：

進行恢復訓練的價值

許多企業對其數據和基礎設施都采取了備份措施，當主系統出現故障時，他們可以切換到這些備份系統中。但這個切換“開關”究竟是什么?一位工程師講述了一個故事，他所在的公司數據庫被徹底清除，造成噩夢般的業務中斷。雖然有備份數據庫，但需要解壓才能使用。那需要多長時間?他們并不知道。

這名工程師所講述的故事屢見不鮮。很多人認為對所有內容都進行備份就會感到安全，但他們實際上不能確定這些備份措施在災難中立即可用。這個故事的另一個關鍵部分是缺乏資源：由于他們沒有內部基礎設施團隊，將不得不依靠沒有經驗的工作人員遵循運行手冊進行恢復。

解決這個問題的方法是定期進行恢復訓練，模擬從生產系統切換到備份的一切情況。這需要多長時間?現在遇到的障礙有哪些是可以消除的?需要依賴什么資源?是否向其他人征求意見?是否使用基礎設施運行手冊?如果這些人離職，或者基礎設施發生故障怎么辦?企業需要為這些可能性做好準備。

在完成這些練習后，需要回顧可以改進的地方。最重要的部分是安排下一次恢復訓練。隨著代碼庫的變化和數據庫的增長，需要繼續確保備份恢復順利進行。

不要滿足于未經測試的備份。行業專家總結了這一點：當涉及到備份策略時，如果沒有測試恢復過程，那么就無法確定其備份是有用的，如果不確定其備份很有用，那么它們很可能是沒用的。

對事件進行整體和橫向思考

企業在運營業務時可能出現問題，例如服務器出現故障，代碼中的拼寫錯誤，高流量導致網絡延遲等。但實際上，大多數事件都會產生其他故障的多米諾骨牌效應。企業在為失敗做準備時，重要的是要考慮所有可能出錯的事情。

以下是一些需要考慮的事項：

• 企業的原有溝通工具也會失效嗎?
• 如果工具出現故障，運行手冊等資源是否可用?
• 用于恢復備份的服務是否也會出現故障?
• 如果發生重大中斷，能夠對此響應的人員是否會處理更主要的優先事項?它們會出現嗎?
• 工程團隊是否會感到壓力過大、精疲力竭，并且無法按照正常標準執行?

每個企業都有可能在事件發生時出現問題，因此需要從過去的事件獲得經驗和教訓。可以創建事件回顧以調查事件的原因和影響。影響因素分析等技術可幫助企業發現這些一致的問題。

在確定這些問題之后，需要確保其備份計劃能夠彌補這些問題。不要遺漏任何東西：考慮從技術到個人的每個因素。如果使用內部工具來啟動新服務器，不要以為會擁有它。如果工程師在出現問題時不知所措，需要確保有明確的解決方案并且易于訪問。

企業需要跳出固有的思維模式，深入挖掘提出的解決方案，以發現可能出現的問題。例如，在遇到電力中斷時，依靠卡車運送的備用發電機來解決問題——但是如果卡車遇到交通堵塞或拋錨怎么辦?不要只滿足于一種解決方案。如果企業的解決方案出現問題，需要采用其他的解決方案，并提供備份措施。

通過想象和提前為 “黑天鵝”事件做準備來增加彈性

“黑天鵝”事件是一個幾乎不可能預測甚至想象的事件，但會造成災難性的破壞。回想起來，黑天鵝事件似乎是一種明顯的可能性。然而在它發生之前，這是不可想象的。

科技領域的黑天鵝事件的一個例子是Facebook公司最近發生的一次宕機事件。Facebook公司并沒有為他們的DNS服務器的徹底崩潰做好準備，他們也沒有想到隨之而來出現的許多問題——例如由于疫情導致出行封鎖無法進入他們的辦公室。如果一個普通事件產生了多米諾骨牌效應，那么黑天鵝事件就像打翻了紙牌屋。

那么如何為意想不到的事件做好準備呢?一種策略是發揮創造力。例如谷歌公司的一個例子：假設谷歌公司的總部被流星擊中。在練習響應過程中，需要每次嘗試聯系那里的工作人員、訪問那里托管的服務器，甚至依賴那里管理的帶寬時都要停止。

但是谷歌公司的總部真的會被流星從地圖上抹去嗎?幾乎是不可能。如果是這樣，谷歌分支機構真的會恢復服務嗎?不，他們可能會有更大的顧慮。但是通過模擬這種最壞的情況，企業可以為其他無法想象的事件做好準備。

行業專家強調了測試的重要性，不僅僅是為了想要測試的東西進行測試。災難備份的重點是發現漏洞并推動系統性變革。而他將這個想法描述為區分穩健性(對可能出錯的一切進行測試)和彈性(對于不需要知道的事情進行測試)，一般來說，發現企業在穩健性方面非常出色，而在彈性方面則非常糟糕。

通過對未知的測試來構建彈性是一種需要迭代和反思的實踐。沒有一種正確的方法可以做到這一點。重要的是徹底記錄其恢復的過程和結果。然后分析哪些類型的實驗正在產生見解，并圍繞它們構建未來的測試。堅持練習，確保在最后一個實驗結束后安排下一個實驗。

但是對于世界末日的場景，將采用什么解決方案呢?行業專家提出了一個觀點，乍一看似乎有悖直覺。在通常情況下，企業走向成熟和成長的途徑首先是依賴第三方工具，然后在內部構建越來越多的工具和基礎設施。大型企業可能會構建自己的通信、警報和跟蹤工具。

然而，黑天鵝事件表明，可能還有一個更為成熟的階段：將第三方工具作為備份。如果企業不能使用工具來解決問題，那么應該準備好其他一些工具。當然，與任何備份系統一樣，需要進行演練以確保交換機的實際恢復功能。