Yahoo構建私有云應對海量數據
想像一個每秒響應150萬個請求的網站需要怎樣的基礎設施?這是Yahoo云架構副總裁Todd Papaioannou面臨的挑戰之一。Todd Papaioannou表示“什么最使我頭疼?不是Google。我現在最頭疼的問題是虛擬化加速的時間。”
對于一條重量級的新聞來說,10到20分鐘的時間來處理Yahoo流量飆升的問題實在是太長了。例如日本海嘯,Osama bin Laden或Michael Jackson死亡的消息。
這就是為什么Yahoo構建了他們自己的私有云。當然這不意味著Yahoo只是搭建了一些虛擬服務器集群,Yahoo的基礎設施規模可擴大或縮小。
據Papaioannou估計,依靠Amazon EBS(Elastic Block Store)存儲,需要20到40分鐘來啟動VM實例。Yahoo支持超過6.8億注冊用戶和超過200PB的數據存儲在42000臺Hadoop服務器上。同時每天收集和處理1000億次的事件,并響應每秒1150萬的網絡請求和累計每月110億次服務器網頁請求。
Yahoo認為自己提供的是為消費者服務的個人云。提供互聯網服務,如照片E-Mail和其他數據存儲,并未用戶提供搜索,新聞,游戲和視頻。其秘密武器是WOO(Yahoo提出互聯網是對象集合而不是網頁集合”搜索理念推出的一系列新搜索功能命名為“WOO”搜索)。如果用戶搜索一個樂隊,WOO可顯示新聞、視頻、歌詞等。
Papaioannou表示這意味著私有云不僅是一個漂亮的營銷短語。Yahoo私有云底部是兩層的,而基礎設施則作為一種服務。Yahoo不對任何人共享其數據中心,其開發的自定義抽象層被稱為“Cloud Fabrics”。可以將其看作中計算/數據中心的整個池資源,無需關注物理位置,因為主要負責分配已有的應用任務。另一層是Yahoo所說的秘密武器WOO。
私有云和私有數據中心永遠不會完全消失,Papaioannou認為如果一家公司發展的足夠迅速,擁有自己的基礎設施比共享更節省成本。對于大多數企業來說,每秒150萬的網絡請求帶來的經濟規模是巨大的,云計算是***的選擇。