看看IT巨頭都是怎么投資數據中心的——Facebook
作為社交網絡巨頭,Facebook在全世界范圍內的用戶量已經突破十億。這些用戶每天都上傳、存儲大量的圖片、文字等數據。同時,再加上Facebook平臺上的各種數據,就顯得更加龐大了。對于這些數據的計算、存儲等的處理就需要大量的計算資源,這就要求Facebook要有大量的服務器、數據中心。據數據顯示,Facebook 在 2009 年冬天大約有3 萬臺服務器,到 2010 夏天這一數量增長為 6 萬。
而自創立開始,Facebook就是租借其他服務供應商的基礎設施,且直到現在,Facebook仍然延續這一習慣,Instagram及Prase的業務仍然運行在AWS之上,雖然Facebook已經擁有了四座獨立的數據中心。不得不說,正是得力于亞馬遜的云計算資源的護駕,Facebook的發展才能非常順利。
這四座數據中心分別位于俄勒岡州普林維爾(Prineville),北卡羅來納州(Forest City)和瑞典Lulea以及美國賓夕法尼亞州阿爾圖納(Altoona)。
其中,阿爾圖納的數據中心是Facebook今年才宣布建立的數據中心,將在2015年啟用。據了解,該數據中心的投資額達到10億美元,并號稱是“全球技術***進”的數據中心,將100%采用風力電腦。數據中心位于阿爾圖納附近,分兩階段建成,各5億美元,占地140萬平方英尺。
阿爾圖納市所在的愛荷華州是多個數據中心的所在地,已經有微軟、谷歌、LightEdge、Enseva等公司在此投資數據中心,主要原因在于愛荷華州的光纖資源豐富、水電資源豐富、地價低,自然災難風險低,交通便利。
北卡羅來納州的數據中心是Facebook于2010年11月宣布建立的,當時Facebook表示在5年內給該數據中心投資4.5億美元。Facebook在官網上稱,這個位于北卡羅來州納福里斯特城的新數據中心的預期電源使用效率將在1.06到1.08之間。該數據中心***采用了Open Compute Project 2.0版本的網絡服務器,還***使用英特爾Sandy Bridge處理器的平臺。另外,新工程采用戶外空氣冷卻的設計方法,這次也是***的現場測試。
北卡羅來納州已經吸引了蘋果、Google、美國運通等公司在此地建立數據中心,估計除了地理優勢因素,稅收上的優惠以及低廉的水電費也是因素之一。
俄勒岡州普林維爾的數據中心是Facebook于2011年8月宣布建立的。普林維爾的數據中心的面積有13萬平米,占地達到80.9萬平米,相當于113個足球場的大小。其工程分為兩個階段完成,***階段已經投入2.1億美元。此外,該數據中心當時號稱是全球最節能的數據中心,它的數據中心 PUE(能耗效率)值達到了令人瞠目結舌的 1.07,遠低于業界的平均水平 1.5(我國的平均水平為 2.2-3)。
俄勒岡州普林維爾的優勢在于氣候宜人,電力價格低廉,而且政府還有減稅優惠政策。
Facebook位于瑞典Lulea的數據中心則是Facebook在美國本土之外建立的***座數據中心,同時也是***個完全使用Facebook設計的服務器的數據中心。,并于2013年6月對外界公開。
Facebook發言人認為,由于Lulea這個地區氣溫高于30度的時間不超過24小時,因此選擇在這里建造數據中心可以有效地減少一大筆散熱方面的支出。此外,Lulea河能為該地區提供充足的電力支持,Facebook無需為建立數據中心而重新設計電力供應系統。
從公開的數據來看,該數據中心是有史以來***效節能的數據中心。Lulea數據中心用于電力和冷卻的能量的比率為1.04:1,而一般的數據中心的比率是3:1。也就是說,Lulea數據中心要比一般的數據中心環保三倍左右。
Lulea的數據中心從服務器到配電系統,幾乎所有技術都是基于OCP(Open Compute Project,OCP)設計。這些設計非常高效,Facebook已經將它們公諸于眾,現在所有人都可以使用或者改進這些設計。
新能源的利用
從上面的資料可以看出,facebook一直都在追求建立更高效更節能的數據中心,除了經濟上的考慮之外(數據中心是能量消耗大戶),這可能也與之前被綠色和平組織批評有關系。綠色和平組織曾在2010年抨擊Facebook的能源政策,隨后Facebook就加大了在能源政策方面的投入,并且在綠色數據中心建設方面取得了長足的進步,也贏得了綠色和平組織贊揚了Facebook在能源使用中保持透明度的做法。
前文提到的愛荷華州阿爾圖納市的數據中心將100%使用風力電能就是Facebook在綠色能源方面的一個例子。而這也是Facebook第二座完全依賴可再生能源的數據中心,***座是瑞典Lulea的數據中心。Facebook的目標是到2015年,可再生能源在數據中心的使用要占到25%。
瑞典Lulea的數據中心內部的所有設備都是通過本地產生的水電能源來供電,這不僅是100%可再生能源,而且供應量也非常可靠。Facebook的一份新聞稿表示,Facebook已經減少了超過70%的備用發電機。
除了風能,還有太陽能。俄勒岡州普林維爾的數據中心就裝備了不少的太陽能電池板。
俄勒岡州普林維爾的數據中心的太陽能電池板
服務器與數據中心方案
2011年4月,Facebook宣布開展一個開放計算項目,計劃將Facebook在開發服務器與數據中心過程中得出的技術規格與設計對外開放,并于2011年公開了底層服務器和數據中心的具體方案。具體包括服務器電源供應、服務器機箱、服務器主板、服務器機柜、后備電源機柜規格,以及數據中心電力及機械系統規格的具體規格。(高效免費的設備結構設計開放后,將會對惠普、戴爾、思科等產生威脅。)
摘抄如下:
服務器方面:
1、服務器使用1.2mm鍍鋅、防腐蝕鋼板,無前面板;
2、部分部件采用卡和連接:主板利用多個安裝孔,卡入機箱;硬盤使用咬合導軌,安裝在驅動器托架上。一個單元只有一個接地螺絲。這使得Facebook可以在3分鐘內搭建整臺服務器;
3、Facebook服務器高1.5U,比一般服務器高50%,空間更大,散熱也更快;
4、具有局域網重啟功能,可以讓系統管理員發送特定網絡指令,立即重啟服務器;
5、主板揚聲器被替換為LED指示燈,以節省電源,服務器還提健康狀態指示燈;
6、同時支持交流和直流電源,使得服務器可以在停電時轉為直流后備電池供電;
7、使用Xeon 5500系列和5600系列兩種處理器,搭載英特爾主板,內置英特爾5500 I/O Hub芯片,內存***可擴展至144GB。AMD的粉絲可以選擇兩個Magny-Cours 12核心或8核心處理器,搭配AMD SR5650芯片組,內存***可擴展至192GB。(這是2011年公布時候的數據。)
數據中心方面:
Facebook將這些方案都運用到了位于俄勒岡州的普林維爾(Prineville)數據中心上。用了兩年的時間,從服務器到電池組再到后備服務器,Facebook致力于讓設備變得更加綠色、環保。比如,Facebook利用集成設計,可以有效的降低能耗。房間內的風扇和服務器風扇成對連接在一起。動作感應LED照明也可用于內部照明。
整個數據中心的能耗按PUE(Power Usage Effectiveness,電能使用效率)衡量是1.07,大大低于美國環保署規定的***方法比值1.5。
Facebook的設計方案可以讓設備在更為潮濕的環境中運行。普林維爾數據中心的設備運行環境為30攝氏度、65%的相對濕度。這樣可以使Facebook依賴蒸發冷卻來降溫,而不需使用空調。其他建設工程方面的創新還包括,普林維爾數據中心使用277伏特的配電系統,而一般數據中心使用的是208伏特的配電系統。Facebook的做法可以減少一個主變壓器,減少轉換時的能耗。在一般的數據中心中,電力轉換要損失22-25%的能量。在普林維爾只損失7%。
當辦公室太冷的時候,Facebook還利用來自服務器的熱量加熱空氣。夏天,數據中心會向進入室內的暖空氣噴水降溫。同時Facebook數據中心的機箱和服務器設計也非常適合于集裝箱裝運,這樣可以減少運輸中的浪費。Facebook的方案盡可能挖掘這些服務器的潛能,使得它不需要在進行基礎架構的建設。