【51CTO專稿】2013年11月22日-23日，Hadoop中國技術峰會（China Hadoop Summit 2013）在北京福朋喜來登集團酒店隆重召開，作為國內唯一專注于Hadoop技術與應用分享的大規模行業盛會，吸引了來自國內外各行業領域的近千名CIO、CTO、架構師、IT經理、咨詢顧問、工程師、Hadoop技術愛好者。本次技術峰會上，51CTO記者有幸采訪到新浪網研發中心系統架構師許楊毅，就新浪微博的敏捷運維問題進行探討，了解其背后的故事。

[[90764]]

（左：許楊毅 右：51CTO記者）

【嘉賓簡介】許楊毅，新浪網研發中心系統架構師，14年互聯網系統平臺工作經驗，目前負責新浪研發中心的各類系統平臺的架構優化和技術組織工作。 包括新浪微博敏捷運維體系的建立和平臺架構優化，數據體系工程，視頻整體系統架構的質量改進/優化工作。

新浪敏捷運維產生的背景

“由于業務壓力導致，在sina微博這個大規模數據量的產品上，故障的響應時間的要求就非常高，處理得稍微晚一點，這個故障可能就會從一個小范圍擴散到全國范圍內的用戶。”許楊毅談到，“正是由于處于在這樣的背景下，所以怎么把運維工作做到更好更快是運維團隊需要考量的問題。

首先，要有效的判斷超大型業務系統的運行狀態；微博服務平臺有數萬臺各類設備，部署在全國多個IDC，是一個超大型的業務系統，在其上部署了非常復雜的各種業務邏輯架構。通過DIP平臺來準實時/離線的搜集各個業務監控平面的指標以及業務指標的模式分析，建立業務運行的健康和監控標準(這一平臺在新浪內部被稱為SinaBench)。

其次，通過實時或者準實時對系統運行指標的多維提取 （異常值、告警區間，多維分析的漏斗模型 ）來進行業務異常狀態的 自動化發現。

最后接入新浪的告警系統（SinaWatch），這樣就形成敏捷運維的效果。

敏捷運維與傳統運維的區別和聯系

許楊毅稱：“敏捷運維并沒有完全脫離傳統運維，只是在傳統運維的基礎上去整理和梳理的工作方法。采取一些運維工具，結合工作流程，去做優化，提升故障管理的效率。自動發現各個監控平面和業務環節的異常后，利用這些異常事件來快速定位和解決故障的問題隨之而來。”Sina是如何解決這些問題的呢？許楊毅表示，“這一方面Sina用到了DIP的大數據處理能力（HADOOP+圖計算框架）。通過業務數據，能夠進行業務整體的全拓撲分析，自動建立故障事件的告警路徑，再進行可視化回溯分析來快速定位。”

敏捷運維過程中遇到的挑戰

“由于敏捷運維并非是一個獨立的團隊來做，包括所有和sina微博業務系統保障的部門，比如說：微博開發者團隊，平臺的運維團隊、系統和底層架構等團隊，把在某一個點或者面上的運維擴散到一個全業務、全流程的體系。所以在敏捷運維的過程中，需要協調跨部門的同事來進行，牽涉到很多業務單元，要把這些事情連動起來，難度是比較大的。”許楊毅如是說。

整合不同部門的人員和多種多樣的技術，來保證業務的可擴展性（靈活性），能事半功倍、更好的協同和更高效的做好工作，這是新浪敏捷運維背后的一些故事。如欲了解更多內容詳情，請從下邊的視頻中獲悉，或許你會發現更多驚喜。

[[90765]]