對(duì)于動(dòng)不動(dòng)就憂天的杞人來說，如此龐大的數(shù)字可能是不詳?shù)模A(yù)示著世界末日的來臨。而對(duì)于樂觀主義者來說，這些數(shù)字卻是一座信息金礦，隨著技術(shù)的進(jìn)步，其中所蘊(yùn)含的財(cái)富會(huì)越來越容易被挖掘出來。

進(jìn)入“大數(shù)據(jù)”時(shí)代，出現(xiàn)了不少新興的數(shù)據(jù)挖掘技術(shù)，使得對(duì)數(shù)據(jù)財(cái)富的儲(chǔ)存、處理和分析變得比以往任何時(shí)候都更便宜、更快速了。只要有了超級(jí)計(jì)算環(huán)境，那么大數(shù)據(jù)技術(shù)就能被眾多的企業(yè)所用，從而改變很多行業(yè)經(jīng)營(yíng)業(yè)務(wù)的的方式。

我們對(duì)大數(shù)據(jù)技術(shù)的定義是：利用一些非傳統(tǒng)的數(shù)據(jù)篩選工具(包括但不限于Hadoop)對(duì)大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)集合進(jìn)行挖掘，以便提供有用的數(shù)據(jù)洞察。

大數(shù)據(jù)技術(shù)的概念和“云計(jì)算”一樣，也存在著很多的炒作和大量的不確定性。為此，我們咨詢了多位分析師和研究大數(shù)據(jù)的專家，讓他們解釋大數(shù)據(jù)技術(shù)是什么和不是什么，以及大數(shù)據(jù)技術(shù)對(duì)于數(shù)據(jù)挖掘的未來究竟意味著什么等諸多問題。

大數(shù)據(jù)技術(shù)的發(fā)展背景

對(duì)大企業(yè)而言，大數(shù)據(jù)的興起部分是因?yàn)橛?jì)算能力可用更低的成本獲得，且各類系統(tǒng)如今已能夠執(zhí)行多任務(wù)處理。其次，內(nèi)存的成本也在直線下降，企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計(jì)算機(jī)聚合成服務(wù)器集群越來越簡(jiǎn)單。IDC的數(shù)據(jù)庫(kù)管理分析師CarlOlofson認(rèn)為，這三大因素的結(jié)合便催生了大數(shù)據(jù)。

“我們不但能夠把這些事情做好，而且能夠以更低廉的成本去做這些事情，”他說。“過去有些大型超級(jí)計(jì)算機(jī)就曾涉足過繁重的多處理系統(tǒng)，一起構(gòu)建成緊密聚合的集群，但由于都是專門設(shè)計(jì)的硬件，所以其成本動(dòng)輒數(shù)十萬(wàn)甚至數(shù)百萬(wàn)美元。而現(xiàn)在，我們利用普通的商品化硬件也能獲得同樣的計(jì)算能力。這便幫助我們能夠更快、更便宜地處理更多的數(shù)據(jù)。”

當(dāng)然，并非所有擁有龐大數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)都可以說他們正在使用大數(shù)據(jù)技術(shù)。IDC認(rèn)為，某項(xiàng)技術(shù)要想成為大數(shù)據(jù)技術(shù)，首先必須是成本可承受的，其次是必須滿足IBM所描述的三個(gè)“V”判據(jù)中的兩個(gè)：多樣性(variety)、體量(volume)和速度(velocity)。

多樣性是指，數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。而速度則是指數(shù)據(jù)處理的速度必須很快。Olofson說，大數(shù)據(jù)“并非總是說有數(shù)百個(gè)TB才算得上。根據(jù)實(shí)際使用情況，有時(shí)候數(shù)百個(gè)GB的數(shù)據(jù)也可稱為大數(shù)據(jù)，這主要要看它的第三個(gè)維度，也就是速度或者時(shí)間維度。假如我能在1秒之內(nèi)分析處理300GB的數(shù)據(jù)，而通常情況下卻需要花費(fèi)1個(gè)小時(shí)的話，那么這種巨大變化所帶來的結(jié)果就會(huì)增加極大的價(jià)值。所謂大數(shù)據(jù)技術(shù)，就是至少實(shí)現(xiàn)這三個(gè)判據(jù)中的兩個(gè)的可承受得起的一種應(yīng)用。” #p# 

與開源之關(guān)系

“很多人都認(rèn)為，Hadoop和大數(shù)據(jù)是同義詞。但這是個(gè)錯(cuò)誤，”Olofson解釋說。例如Teradata、MySQL和一些“聰明的集群技術(shù)”的實(shí)施案例都沒有使用Hadoop，但也被認(rèn)為是大數(shù)據(jù)的實(shí)施案例。

作為大數(shù)據(jù)的一種應(yīng)用環(huán)境，Hadoop之所以能夠引起人們的注意，是因?yàn)樗腔贛apReduce環(huán)境的，這是超算圈里很常用的一種簡(jiǎn)化環(huán)境，主要是由谷歌所創(chuàng)建的一個(gè)項(xiàng)目。Hadoop是和各種Apache項(xiàng)目密切相關(guān)的混合實(shí)施環(huán)境，其中包含了在MapReduce環(huán)境下服務(wù)器所創(chuàng)建的HBase數(shù)據(jù)庫(kù)。

軟件開發(fā)人員一般會(huì)用一切利用到Hadoop以及相似的高級(jí)技術(shù)的手段來響應(yīng)——而這些技術(shù)很多都是在開源社區(qū)里開發(fā)的。“他們創(chuàng)建了一個(gè)令人眼花繚亂、變化多端的東西，即所謂的NoSQL數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)的鍵值多數(shù)都已利用了各種技術(shù)在處理能力、多樣化，或者數(shù)據(jù)庫(kù)規(guī)模上做了優(yōu)化的，”Olofson說。

開源技術(shù)一般是沒有商業(yè)支持的，“所以這些東西還必須讓其進(jìn)化一段時(shí)間，逐漸剔除各種缺陷，而這一般需要數(shù)年的時(shí)間。這就是說，羽毛未豐的大數(shù)據(jù)技術(shù)目前還無(wú)法在普通市場(chǎng)上普及。”與此同時(shí)，IDC預(yù)計(jì)至少有三家商業(yè)廠商會(huì)在年底之前對(duì)Hadoop提供某種類型的支持服務(wù)。還有其他一些廠商，如Datameer等，也會(huì)提供帶有Hadoop組件的分析工具，允許企業(yè)開發(fā)他們自己的應(yīng)用。例如Cloudera和Tableau等已經(jīng)在其產(chǎn)品中用到了Hadoop。