2012年7月22日下午，由北京大學(xué)信息化與信息管理研究中心、北京大學(xué)CIO班教務(wù)辦公室主辦，CIO時代網(wǎng)承辦，北達(dá)軟協(xié)辦的“首屆中國大數(shù)據(jù)應(yīng)用論壇”在北京大學(xué)北配殿成功舉辦。來自各企事業(yè)單位領(lǐng)導(dǎo)、行業(yè)權(quán)威專家、信息化負(fù)責(zé)人等出席了本次論壇，就如何挖掘大數(shù)據(jù)價值、大數(shù)據(jù)時代的應(yīng)用等問題進(jìn)行了分享和交流。

　　北京紅山世紀(jì)科技有限公司技術(shù)總監(jiān)劉溢淳先生在本次論壇上做了關(guān)于《虛擬化對于大數(shù)據(jù)應(yīng)用的支撐》，以下為演講實錄：

　　北京紅山世紀(jì)科技有限公司技術(shù)總監(jiān)劉溢淳先生

　　尊敬的各位領(lǐng)導(dǎo)、各位嘉賓、各位朋友大家下午好!大家聽了一下午是非常辛苦的，希望通過我的演講給大家介紹一些新東西。開始聽了各位專家的演講后對大數(shù)據(jù)有了深刻的了解，在大數(shù)據(jù)環(huán)境下看一下我們的方案對各位建設(shè)是否有幫助，是否可以得到一些經(jīng)驗。

　　大數(shù)據(jù)的產(chǎn)生。之前專家都講了很多，我就不再班門弄斧了。基本的概念是跟之前專家講的一樣，大數(shù)據(jù)有爆炸式增長，有了非常大的變化，需要很多新技術(shù)和新手段使用這些數(shù)據(jù)。我今天要跟大家分享的是對于這樣的數(shù)據(jù)變化，虛擬化包括新的云計算架構(gòu)能不能對現(xiàn)有使用有一些非常好的幫助。主要的幾個特點(diǎn)跟前面專家說的非常一致，說明我們的理解沒有太大偏差。重點(diǎn)我要說的是虛擬化和大數(shù)據(jù)之間的關(guān)系。大數(shù)據(jù)對于我們信息時代是非常寶貴的一種財富，它需要有效的挖掘和利用。例如之前嘉賓講的，它對于我們是一個非常大的變革，現(xiàn)在基于大數(shù)據(jù)有Hadoop，移動的“大云”，包括百度這樣的公司對它進(jìn)行開發(fā)和使用。中國現(xiàn)在能使用到PB級別數(shù)據(jù)用戶的量，我不知道有多大。今天也借機(jī)會跟大家分享一下。有沒有各位的公司使用的數(shù)據(jù)量達(dá)到PB級別?有的話可以舉手示意一下。

　　我們的分析是，目前中國80%到90%的用戶數(shù)據(jù)量沒有到這個級別。所以說大數(shù)據(jù)面對市場不一樣，得到結(jié)果也不一樣，也就是說大、小其實是相對的概念。隨著公司變革、IT業(yè)務(wù)應(yīng)用，它是不斷增長。

　　其中有一家公司對于虛擬化和數(shù)據(jù)使用結(jié)合的非常好。2000年成立信息化部，做IT建設(shè)，當(dāng)時使用的是小機(jī)，到2005年、2006年的時候?qū)τ跀?shù)據(jù)使用出現(xiàn)了一個問題，發(fā)現(xiàn)小機(jī)對于不斷變化的業(yè)務(wù)、增長業(yè)務(wù)變化非常快的情況出現(xiàn)了不適應(yīng)。2006年，國內(nèi)第一家采用虛擬化解決問題。轉(zhuǎn)到X86，所以很好地解決了它的問題。從2000年初他們每年需要處理的數(shù)據(jù)量是幾千人，到現(xiàn)在將近兩億人的規(guī)模，虛擬化在其中起到了非常大的幫助。

　　那么在這樣的數(shù)據(jù)變化情況下，從很小的規(guī)模到有一定數(shù)據(jù)量規(guī)模變化，虛擬化能做什么事情呢?能給大家?guī)硎裁磶椭?

　　云計算的核心是業(yè)務(wù)模式，本質(zhì)是對數(shù)據(jù)處理技術(shù)和能力的表現(xiàn)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道。如何使用這些數(shù)據(jù)資產(chǎn)也是在大數(shù)據(jù)時代下大家非常關(guān)注的話題。

　　我的理解是，虛擬化和大數(shù)據(jù)之間的關(guān)系是動靜的關(guān)系，虛擬化強(qiáng)調(diào)的是計算和資源分配，這是動態(tài)的概念。而數(shù)據(jù)相對來說是一種計算的對象，是相對固定的概念，是這樣一個相對關(guān)系。實際結(jié)合起來強(qiáng)調(diào)計算和存儲能力，這兩個功能要有很好的結(jié)合。比如說大數(shù)據(jù)需要很大的處理能力。以前我們面對幾臺服務(wù)器，突然變化到需要處理到幾十臺上百臺服務(wù)器，那么計算能力怎么劃分、使用都會成為很大的問題。如果沒有新的技術(shù)手段，解決起來是非常困難的，而且用戶當(dāng)中也碰到了這樣的情況，待會兒會在實際案例當(dāng)中跟大家分享。我認(rèn)為這會相對實際一些。我們公司面對的對象不是百度、移動那種PB級數(shù)量的用戶，而是比較小一些的，大概是100TB。

　　數(shù)據(jù)變化也會導(dǎo)致了一些架構(gòu)變化。給公司帶來的問題是，公司是不斷上硬件還是采用新技術(shù)改變呢?這對于大家來說是一個比較大的挑戰(zhàn)。

　　云計算和大數(shù)據(jù)之間的關(guān)系，我想用一個比喻，可能不太恰當(dāng)啊。達(dá)沃斯論壇上有一份報告是《大數(shù)據(jù)，大影響》，宣稱數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟(jì)資產(chǎn)類別，就像貨幣或黃金一樣，對于這個概念大家應(yīng)該有個直觀認(rèn)識。

　　有了這樣的一個很好的資產(chǎn)，我們?nèi)绾伟阉闷饋?相當(dāng)于銀行系統(tǒng)怎么把資金盤活一樣，這其中需要很多的技術(shù)手段。比如說，處理技術(shù)(便攜式計算、網(wǎng)格、Hadoop大數(shù)據(jù)處理等等都是一些非常好的技術(shù))。涉及層面在于數(shù)據(jù)捕獲、組織、分析、決策，這是對于數(shù)據(jù)來講一些非常核心的技術(shù)。我們關(guān)注的是如何構(gòu)建一個有效的硬件環(huán)境來完成這些工作。技術(shù)方面，像今天我也學(xué)到了很多有價值的技術(shù)，比如說“大云”平臺對于業(yè)務(wù)層構(gòu)建，還有百度公司提到的存儲布局，這些對于我們都是非常好的技術(shù)，日后我們會不斷跟進(jìn)學(xué)習(xí)，補(bǔ)充這塊的技術(shù)能力。

　　下面我介紹一下我們公司的產(chǎn)品定位。我們公司是基于云計算時代做的工作。云計算不外乎是一種基于服務(wù)、彈性可伸縮、基于網(wǎng)絡(luò)交付能力等等。核心價值是面對大量服務(wù)器和存儲怎樣把硬件能力劃分給應(yīng)用完成工作。層次有三層：IaaS、SaaS、PaaS，我們主要是集中在IaaS這一層，做一個非常好的架構(gòu)改變硬件使用方式。這是虛擬化IT基礎(chǔ)架構(gòu)，它跟以往傳統(tǒng)結(jié)構(gòu)不一樣，采用了集群式存儲，服務(wù)器組成了邏輯資源池，(可以對所有計算能力進(jìn)行共享而且是動態(tài)分配、動態(tài)劃分的)，以前的方式只能是一對一，沒有別的選擇，綁定非常緊。有了虛擬化之后，這就不再是綁定的很緊，而是可以做靈活調(diào)整和動態(tài)分配的。這種架構(gòu)大家看著不是特別明顯，我把它的一些功能和可以做的事情跟大家進(jìn)行一下說明。

　　我們的軟件安裝在服務(wù)器硬件上，對服務(wù)器進(jìn)行整合。把計算機(jī)能力進(jìn)行拆分，按區(qū)分配，多臺之后可以組成虛擬化的架構(gòu)，后臺有共享存儲。本機(jī)上不放數(shù)據(jù)，只是利用它的計算能力。這樣IT架構(gòu)可以對硬件部署進(jìn)行重新的劃分。它可以按需部署，不管是使用資源的高與低。部署完之后，操作系統(tǒng)可以做來回的動態(tài)遷移。(某個業(yè)務(wù)可以在服務(wù)器集群之間進(jìn)行調(diào)整)。這是個非常直接的感受。還有整個業(yè)務(wù)的可能性，以前一個關(guān)鍵業(yè)務(wù)要做策略的話需要容災(zāi)備份，代價是比較高的。有了虛擬化以后，它可以在硬件宕機(jī)的情況下，可以把應(yīng)用在其他資源設(shè)備上進(jìn)行重新啟動，而這個代價相對于之前的雙機(jī)備份策略成本要低50%左右。由于數(shù)據(jù)存在后臺嘛，所以可以從新調(diào)動進(jìn)行利用。另外就是面對業(yè)務(wù)使用峰值不斷變化的情況，可以動態(tài)調(diào)整某臺機(jī)器上應(yīng)用的數(shù)量，這樣可以達(dá)到有些應(yīng)用有冷時間、熱時間，在需要資源更多的情況下，可以把小的一些負(fù)載遷移到其他機(jī)器上運(yùn)行，這樣可以在關(guān)鍵時刻保證其在機(jī)器范圍能力之內(nèi)做一個非常好的調(diào)整。還有一點(diǎn)是節(jié)能方案，當(dāng)應(yīng)用負(fù)載變的輕之后，訪問人變的少的時候可以集中到少數(shù)幾臺服務(wù)器上達(dá)到節(jié)能減排操作。另外一個方面就是安全。對于先進(jìn)IT狀況來說，現(xiàn)在我們用的硬件設(shè)備好多是國外的，對于信息安全是一個非常大的挑戰(zhàn)。我拜訪一個客戶的時候了解到一件事，部隊曾經(jīng)發(fā)生過一個事情，當(dāng)他們測試一款國外產(chǎn)品--碎紙機(jī)發(fā)現(xiàn)了一個很嚴(yán)重的問題。在某款國外產(chǎn)品碎紙機(jī)上發(fā)現(xiàn)了一個芯片，當(dāng)你碎掉文件之前可以進(jìn)行掃描，保存在芯片里，他可以通過遠(yuǎn)程方式啟動進(jìn)行數(shù)據(jù)回收。這個問題是非常嚴(yán)重的。云計算時代對于我們來說是一個非常好的機(jī)會，我們可以在更底層做安全事情的考慮。

　　云計算現(xiàn)在沒有普及開，有很多條件限制，其中安全是很重要的一個方面，安全是很大的挑戰(zhàn)。安全方面我們計劃做一個非常好的加密產(chǎn)品，通過在底層安全加密不斷實現(xiàn)，數(shù)據(jù)在網(wǎng)絡(luò)當(dāng)中傳輸包括在相對不安全鏈當(dāng)中的使用，進(jìn)行高強(qiáng)度加密。這是我們對于這一塊滿足國內(nèi)用戶特殊要求所做的一個工作。

　　我們的目標(biāo)是要做大范圍的用戶，我們也在不斷了解虛擬化到底能給大家?guī)硎裁磶椭惖膯栴}，我們都在不斷探討。很多用戶在使用過程當(dāng)中也給我們提一些建議。下面我做一些案例分享，與大家進(jìn)行交流。

　　第一個案例是國外的。我們第一個客戶不是在國內(nèi)而是在國外。一個很偶然的機(jī)會，我們產(chǎn)品研發(fā)到2.0個時候是在2009年，跟國外一家公司有了接觸，當(dāng)時他們選擇虛擬化的一款產(chǎn)品。找到我們之后就進(jìn)行測試，測試完成之后，大概做了一個多月，他們覺得還不錯，就進(jìn)行整合。做了一年之后，做的非常不錯，被美國的CA公司收購，那么CA公司又對我們從新進(jìn)行測評改進(jìn)，之后又續(xù)簽了合同。還有其他的一些案例，比如說DNS、BT。當(dāng)時國內(nèi)剛接觸云計算，從那開始我們也做了國內(nèi)市場的工作。

　　第二個案例是山東省工商行政管理局的案例。當(dāng)時是要興建數(shù)據(jù)中心，數(shù)據(jù)對于當(dāng)時來講也是比較大的，需要40臺服務(wù)器。通過跟我們接觸以后，他決定采用服務(wù)器虛擬化的架構(gòu)，原因在于我們?yōu)樗峁┑姆桨赋杀靖停矢摺Ｋ麄儤I(yè)務(wù)很多，也不能一次性上線，對于他們壓力還是比較大的。所以我們出了一個具體解決方案，通過努力贏得了這個單子。當(dāng)時我們也是跟國外的一些廠商通過競爭，最終勝出。

　　第三個案例，我們現(xiàn)在正在做的，中華人民共和國國家民族事務(wù)委員會。他們也想做這么一個系統(tǒng)，管理一些相關(guān)的信息。當(dāng)時他們有一個問題是，全中國大概有幾千萬人的少數(shù)民族人員，但是信息統(tǒng)計非常困難。具體原因是由于少數(shù)民族生活習(xí)慣、使用IT操作習(xí)慣，沒有這個意識，很難拿到全面信息。他們有兩個難題，一個是怎么通過一個手段獲得這些信息，再一個就是如何管理這些信息，也就是使用大數(shù)據(jù)的概念。當(dāng)時我們提了幾點(diǎn)建議，首先是拿到這些數(shù)據(jù)，我們提出了一個服務(wù)的概念。他現(xiàn)在想做的是，從這個少數(shù)民族人員出生到生老病死有一個全程的監(jiān)管。比如說咱們可以提供上學(xué)、醫(yī)療等服務(wù)，以服務(wù)形式就可以輕松地拿到這些數(shù)據(jù)。那么管理時就要從云架構(gòu)開始管理。最后提出了一個解決方案。目前這個方案已經(jīng)通過測試，下一步馬上就要進(jìn)行實用。領(lǐng)導(dǎo)還是非常滿意的，因為它能夠?qū)崿F(xiàn)少數(shù)民族整個數(shù)據(jù)管理到業(yè)務(wù)，包括門戶網(wǎng)站，整個辦公決策這樣一些業(yè)務(wù)一體化的解決方案。

　　第四個案例，是某政府的云計算中心。這是企業(yè)跟政府共建的。希望建立一個完整的運(yùn)營模式。模式非常好，模式是當(dāng)?shù)卣M(jìn)行投資(投資形式不是固定資金，而是把以前需要做IT建設(shè)的經(jīng)費(fèi)固定撥給你云計算中心，中心自己籌建，你進(jìn)行搭建)。這個數(shù)據(jù)服務(wù)模型也是經(jīng)過深思熟慮的。比如說把一卡通、數(shù)字化牧場等公共服務(wù)方面放到里面。這不涉及很私密的問題。而且這個模式是面向大量的公共服務(wù)，比如食品藥品監(jiān)管之類的。這個數(shù)據(jù)量還是非常大的。他們算了一下，一個系統(tǒng)將近七八百萬，而通過云計算可以把這個費(fèi)用降低到很低。政府不用再做繁瑣事情，比如招投標(biāo)、項目評審。省了非常多的事情。而且雙方也簽訂了服務(wù)協(xié)議。基于服務(wù)協(xié)議，會保證服務(wù)、保證數(shù)據(jù)安全。

　　從我們做的項目來看，數(shù)據(jù)使用量還是在TB級的比較多，到PB這塊目前我們也在做探討。這次來也學(xué)到了很多東西，希望跟大家多做深入溝通。大家有一些需求和新的方法可以跟我們交流。我們是希望做非常適用于中國用戶非常習(xí)慣的方案，在信息化建設(shè)方面出自己的一份力，我的演講就是這些，希望大家多多指正，謝謝大家!