劉鵬教授:綠色云計(jì)算實(shí)踐之路
非常高興在這里跟大家分享一下我們云計(jì)算這方面做過的一些事情。目前,數(shù)據(jù)增長有一個(gè)新的規(guī)定,人稱叫新摩爾定律,全球數(shù)據(jù)量每隔18個(gè)月就會翻一倍,指數(shù)據(jù)總量,所以比我們腦的摩爾定律大很多。大數(shù)據(jù)帶來的挑戰(zhàn)就是過去的這么多年來,數(shù)據(jù)增長現(xiàn)在是到了2000EB左右,這個(gè)量是在04年的時(shí)候只有30EB,所以這個(gè)增長非常快,現(xiàn)在每兩天產(chǎn)生的數(shù)據(jù),就相當(dāng)于03年以前全球所有數(shù)據(jù)的總和。所以,我們看到為什么現(xiàn)在有這么多數(shù)據(jù)中心在建設(shè),其實(shí)也于這個(gè)也關(guān)系。現(xiàn)在企業(yè)能夠利率的數(shù)據(jù)大概7%,將來很快會降到4%。如果我們把數(shù)據(jù)的利用率提升,如果我們能提升10%,那么在很多行業(yè),它的效率將會提升20%。所以,這個(gè)影響是非常大的。我們現(xiàn)在看到淘寶網(wǎng)提供了一些數(shù)據(jù)分析的服務(wù),比如數(shù)據(jù)模仿,這些數(shù)據(jù)分析有助于那些有經(jīng)驗(yàn)的賣家根據(jù)這個(gè)服務(wù)購買這個(gè)數(shù)據(jù),然后優(yōu)化它的商品銷售。我們現(xiàn)在看到很多皇冠賣家都是以前好日積月累累出來的,但是現(xiàn)在一大批的數(shù)據(jù)賣家是靠數(shù)據(jù)分析,這樣就能夠提高它的銷售量。亞馬遜在它的銷書的過程中,每次你結(jié)帳的時(shí)候會給你推薦會不會買另外一本書,這個(gè)銷售量增長了很大。
云計(jì)算增長這么快的情況下,我們用什么去解決,用大量的計(jì)算機(jī)取代以前單打獨(dú)斗的計(jì)算機(jī)。到了1998年有了網(wǎng)格計(jì)算,08年有了服務(wù)計(jì)算,07年有了云計(jì)算,這些都是它的本質(zhì)的問題。云計(jì)算在基礎(chǔ)上來講,實(shí)際上就是怎么能夠把這些分布的資源管起來,這些資源非常不可靠,怎么把它有效的虛擬起來,然后對外界提供簡單的接口,方便大家從網(wǎng)上進(jìn)行訪問,云計(jì)算的核心就是冗錯(cuò)。谷歌就是找到了這樣一個(gè)做法,4月1號,谷歌給大家提供了1GB的G-mail的信箱,谷歌03年的時(shí)候當(dāng)時(shí)發(fā)了一篇論文,這篇文章可以說是整個(gè)云計(jì)算產(chǎn)業(yè)的奠基之作,非常簡單,它描述的結(jié)構(gòu)就是這臺機(jī)器有很多是管理的機(jī)器,下面是負(fù)責(zé)數(shù)據(jù)存儲的機(jī)器,右邊的是客戶端。為什么要兩臺,因?yàn)閮膳_機(jī)器要互有備份。所以,這樣使得它始終都能保持?jǐn)?shù)據(jù)有三個(gè)副本,所以這套機(jī)器就可以做的非常可靠。所以,谷歌的機(jī)房都能做得這么簡單,普通的PC裝4個(gè)硬盤,背后對著走廊,因?yàn)檫@些機(jī)器隨時(shí)都會壞了,壞了以后沒有人管,如果壞了,就方便拿下來,所以就完全不需要人維護(hù)。所以,這樣帶來的好處就非常明顯。目前微軟公司建了一個(gè)15萬機(jī)器的云計(jì)算平臺,只有5個(gè)人在做,所以它的效率非常高。#p#
谷歌的數(shù)據(jù)中心建在戈壁灘上面,非常冷的這些地方。現(xiàn)在Facebook也公開了他的云計(jì)算數(shù)據(jù)中心,在一個(gè)非常荒涼的地方,它的PUE竟然能做到1.06。谷歌曾經(jīng)寫了GFF這樣的文章公開了它最核心的技術(shù),造成了全世界云計(jì)算的熱潮,所以,你們可以學(xué)習(xí)我們的方法,所以我們建設(shè)綠色數(shù)據(jù)中心很多東西可以借鑒Facebook的數(shù)據(jù)中心的建設(shè)方法。
在能源上面有很多問題,左邊是谷歌帶美國的東海岸收購了一個(gè)公司,云計(jì)算屬于高耗能產(chǎn)業(yè),10萬臺機(jī)器,一塊錢一度電,10萬臺PUE等于2的話是5億人民幣,所以能源的消耗比數(shù)據(jù)中心本身的建設(shè)成本,如果三年之上,就超過了數(shù)據(jù)中心建設(shè)成本,所以能源問題是一個(gè)為突出的問題,目前數(shù)據(jù)中心的能耗已經(jīng)超過航空產(chǎn)業(yè),整個(gè)天上這么多飛機(jī)在飛,但是它的能耗還不如數(shù)據(jù)中心消耗的多,現(xiàn)在大概2%點(diǎn)幾的能源被云計(jì)算數(shù)據(jù)中心使用,我相信再過幾年會超過10%,甚至20%的數(shù)據(jù)中心將使云計(jì)算使用這么多能源。
谷歌在比利時(shí)建的云計(jì)算數(shù)據(jù)中心完全放在室內(nèi),因?yàn)檫@個(gè)地方比較冷,但是仍然一年有7天比較熱,谷歌在這7天里面把數(shù)據(jù)中心完全關(guān)掉,不再使用,這個(gè)時(shí)候就不需要再額外的散熱了,到了7天之后再打開繼續(xù)工作,用這種方法避開散熱。那么,這種方式我覺得對很多企業(yè)其實(shí)是適用的,在國內(nèi)360在前年的夏天曾經(jīng)它的數(shù)據(jù)中心機(jī)房主空調(diào)出現(xiàn)故障,這時(shí)候360受到報(bào)警馬上就啟動了指令關(guān)掉了這個(gè)機(jī)房。我們這一塊做的這些事情,比如說我們主要著重針對云計(jì)算大數(shù)據(jù)的基礎(chǔ)做了四個(gè)方面的工作。
一方面是云存儲,第二方面是大數(shù)據(jù)怎么處理。第三、視頻方面的應(yīng)用。第四、大數(shù)據(jù)怎么高速的傳到另外一個(gè)地方。谷歌是不允許修改數(shù)據(jù),我們?nèi)我饪梢孕薷模椅覀兛梢园巡煌漠惖貦C(jī)架虛擬成更大的存儲平臺,能量可以做到100完EB。我們今年和國家科技部啟動了一個(gè)計(jì)劃,1EB的存儲系統(tǒng)。另外就是存儲的控制器我們自己研制了一種新的存儲控制器,這個(gè)控制器的功耗只有10瓦可以控制16個(gè)硬盤,我們采用傳統(tǒng)X86架構(gòu)需要250萬我的電,但是我們現(xiàn)在把它只降大10萬,它達(dá)到的效果是類似的,成本節(jié)省了10倍。這樣使得云存儲能源消耗更少,這是我們的機(jī)架,既可以是X86,也可以是超低功耗。我們在內(nèi)蒙布了一套系統(tǒng)已經(jīng)三年多了,好多硬件都壞了,但是系統(tǒng)仍然是好的。同時(shí),我們可以做所有的節(jié)點(diǎn),隨著節(jié)點(diǎn)的數(shù)量增長,用戶的訪問量上升,我能夠讓它的整體IO性能呈線性增長,我在以太網(wǎng)里面讀數(shù)據(jù)的時(shí)候,速度是非常驚人的。我們云存儲系統(tǒng)是前所未有的一個(gè)性能。這是我們做的新的機(jī)架,它的正面全部是盤,反面上下都是盤,中間是電路板,是1.125PB的流量,所有的功耗3400瓦,所以我們一個(gè)機(jī)架放到機(jī)房里就相當(dāng)于一房建了所有的機(jī)器,但是它的成本只相當(dāng)于原來一個(gè)機(jī)架的成本,所以這套系統(tǒng)我們覺得對于數(shù)據(jù)中心建設(shè)可能會非常有用,如果你用海量的數(shù)據(jù),比如大家現(xiàn)在都在云盤大戰(zhàn),云盤的成本居高不下,我們曾經(jīng)有運(yùn)營商找我們,說我租用你的設(shè)施,我們愿意付多少租金,后來我算的一下,我說你只要付我半年租金設(shè)備就送你了,我們比市場上云盤的價(jià)格便宜很多,我們這套系統(tǒng)是高可靠,高性能,高可伸縮性,超低功耗,超高集成度,高易用性,價(jià)格非常便宜。便宜到什么程度?在招標(biāo)的時(shí)候我們云存儲系統(tǒng)只有320萬,別的廠商都是900多萬。另外我們系統(tǒng)在南京公安局得到了大量的應(yīng)用。他們主要是把各城市里的攝象頭的硬盤,所有的監(jiān)控硬盤把數(shù)據(jù)導(dǎo)到云存儲上面,交給幾千個(gè)警察同時(shí)做分析。這樣大家就發(fā)現(xiàn),用這樣的系統(tǒng)它的特點(diǎn)系什么?幾千個(gè)人同時(shí)用一套系統(tǒng),但是每個(gè)人都覺得很快。第二,在用的過程中老跳閘,大家擔(dān)心云存儲會不會把數(shù)據(jù)丟掉,但是打開機(jī)器發(fā)現(xiàn)數(shù)據(jù)都沒有丟失,大家從哪兒以后就建立了信心。所以,現(xiàn)在南京公安局現(xiàn)在大規(guī)模采購基本上全都是這種系統(tǒng),現(xiàn)在在南京政務(wù)數(shù)據(jù)部署的公安局宣布是這個(gè)系統(tǒng)。#p#
云處理我們有一個(gè)系統(tǒng)叫數(shù)據(jù)立方,我們Hbase的30倍。另外就是可靠性有大幅的提升,我們還HDFS進(jìn)行了大量的改造,把它所有的單點(diǎn)故障給消除掉了。數(shù)據(jù)立方能夠快速的處理機(jī)器海量的數(shù)據(jù),JOBKEEPER能夠?qū)Υ罅康挠?jì)算任務(wù)進(jìn)行大量的調(diào)度,我們這個(gè)處理平臺就是當(dāng)你有大量的計(jì)算任務(wù),每個(gè)任務(wù)都很小,怎么能夠快速的高可靠的把它處理完。這個(gè)是中國移動在廣東移動搞了一個(gè)比賽,它的數(shù)據(jù)量整個(gè)廣東是中國移動收入量最大的,心靈流峰值是7200KB/S。這是參賽的其他廠商,有幾家是用美國最有名的一個(gè)大數(shù)據(jù)處理的平臺,但是它非常貴,一套系統(tǒng)有上千萬,我們跟它這樣的系統(tǒng)競爭,最后的效果是非常好的,這是我們整個(gè)通過這個(gè)比賽證明了這個(gè)系統(tǒng)。這個(gè)比賽比了一年,比功能、性能、可靠性,全方位的是,最后是非常驚人的結(jié)果。這是我們當(dāng)時(shí)比賽的現(xiàn)場。這個(gè)比賽當(dāng)時(shí)也是把每一家到屏幕上,同時(shí)進(jìn)行相同的處理,或者看誰不崩潰,我們在這里面最后得到大家的認(rèn)可了。我們后來中標(biāo)了很多中國移動的工程,中國移動現(xiàn)在的試點(diǎn),首先第一個(gè)就是江蘇移動,布了12個(gè)機(jī)架,處理整個(gè)江蘇省所有的移動手機(jī)信令,每秒鐘的流量200兆,效果非常好。
我們現(xiàn)在云計(jì)算模式要把所有的數(shù)據(jù)都到云計(jì)算平臺,甚至全國的實(shí)時(shí)數(shù)據(jù)都可以處理掉,這是我們當(dāng)時(shí)數(shù)據(jù)入庫的樣子,這是我們數(shù)據(jù)查詢。當(dāng)我們要在這么大數(shù)據(jù)量的情況下查詢符合條件的車的記錄,我們一點(diǎn)查詢按紐就出結(jié)果,以前的系統(tǒng)要用很長時(shí)間。現(xiàn)在我們做到一個(gè)省的或者一個(gè)國家的規(guī)模,或者我們有一千億條,或者一萬一條記錄,我們能夠做到實(shí)時(shí)的查詢,然后動態(tài)的篩選。比如給出查詢條件,一點(diǎn)查詢就出結(jié)果了,這是以前做不到的。有了這個(gè)能力,現(xiàn)在有了很多以前做不了的事情。比如有一輛車,一過這個(gè)卡口,就把它的牌照和其他的車比對一下,如果相同它就是套牌車。以前都是靠眼睛查,那是非常困難的。我們同時(shí)也把這個(gè)作為數(shù)據(jù)的一體機(jī),就是硬件和軟件結(jié)合在一起。英特爾公司目前跟我們合作推出新的一體機(jī),大概10月底開新聞發(fā)布會,英特爾公司會著重把這個(gè)產(chǎn)品推出去,除了英特爾之外,其他國內(nèi)所有的大廠都在跟我們合作。
云視頻,我們主要業(yè)績大規(guī)模的,你怎么能保證這么多攝象頭都到你的平臺上,怎么高效的把數(shù)據(jù)存起來,自動的處理,主要是解決這個(gè)問題。我們在一個(gè)監(jiān)控畫面,就可以監(jiān)控一個(gè)城市的幾十萬攝象頭,但是人其實(shí)看不過來,所以我們要用大量的計(jì)算機(jī)同時(shí)處理不同的視頻流。另外除了做交通,道路流量的判斷,發(fā)生事故的自動報(bào)警,比如有人打架,有人搶劫,所有的行為通過云計(jì)算的節(jié)點(diǎn)進(jìn)行自動的判斷、處理和報(bào)警,這樣把大量傳統(tǒng)的攝象頭接入到云計(jì)算平臺進(jìn)行處理。同時(shí)我們也做對犯罪嫌疑人的動態(tài)跟蹤,像周克華的案子,用云計(jì)算平臺做動態(tài)的處理,但是云計(jì)算平臺我們攝象頭都很模糊,看不清楚他的臉,那么,在這種情況下我們發(fā)明了這種新的技術(shù)解決這個(gè)問題。
云傳輸主要是快速的把數(shù)據(jù)高效的傳輸?shù)讲煌胤剑@個(gè)傳輸速度也大幅提升。這是我們在國家做的實(shí)驗(yàn),能夠提高幾十倍的性能,這是目前全國有6個(gè)省的電視臺用這種方法進(jìn)行高效的數(shù)據(jù)傳輸,到今年您地16個(gè)省。我們有一個(gè)網(wǎng)站叫中國云計(jì)算,歡迎大家訪問。我們也有幾本書,大家可能看得比較多的云計(jì)算第二版現(xiàn)在是最多的一本。謝謝!