本文來(lái)自Adrew Brust的博客文章。主要陳述大數(shù)據(jù)業(yè)內(nèi)人士對(duì)2013年發(fā)展的預(yù)測(cè)和作者自己的一些觀點(diǎn)，以下為編譯：

在大數(shù)據(jù)領(lǐng)域，雖然對(duì)技術(shù)產(chǎn)業(yè)的預(yù)測(cè)是不可缺少的，但是Adrew對(duì)宣傳一個(gè)具體公司的計(jì)劃明顯缺乏興趣，而且許多業(yè)內(nèi)公司都把他們明年的計(jì)劃發(fā)給了Adrew，所以他認(rèn)為：如果能把這些2013年的預(yù)測(cè)整合一下，再融入自己的觀點(diǎn)，將是一件非常有意思的事情。

圖：Big Data將會(huì)在2013發(fā)展到哪個(gè)階段?

Hadoop的2013

首先從Hadoop說(shuō)起。做為大數(shù)據(jù)領(lǐng)域的代表技術(shù)，許多企業(yè)都把明年的計(jì)劃聚焦在Hadoop之上。MapR的執(zhí)行總監(jiān)John Schroeder預(yù)測(cè)，“用戶(hù)對(duì)Hadoop的優(yōu)化將更注重硬件”。同時(shí)，Pervasive Software的技術(shù)總監(jiān)Mike Hoskins也指出，“對(duì)企業(yè)友好的Hadoop技術(shù)市場(chǎng)將達(dá)到***的高峰”。

Adrew認(rèn)為這兩個(gè)預(yù)測(cè)都會(huì)發(fā)生，從整體上說(shuō)，不僅是Hadoop本身本會(huì)得到迅猛的發(fā)展，同時(shí)Hadoop在多個(gè)數(shù)據(jù)中心中的配置和無(wú)縫集成技術(shù)也將成為熱門(mén)。或許因?yàn)橛诖耍琈apR的Schroeder會(huì)說(shuō)，“Hadoop的專(zhuān)業(yè)知識(shí)正在飛速增長(zhǎng)，但是這方面優(yōu)秀的人才仍然很缺乏”，他還預(yù)測(cè)，“基于SQL的Hadoop工具將會(huì)得到持續(xù)發(fā)展”。對(duì)于后面的這個(gè)預(yù)測(cè)我們沒(méi)法提出反對(duì)的意見(jiàn)，因?yàn)閮H僅在過(guò)去的一個(gè)季度里，這樣的工具就取得了巨大的發(fā)展，并且目前的發(fā)展勢(shì)頭也有減弱。

然而并不是所有的觀點(diǎn)都一致。Rainstor自己就有基于SQL-Hadoop的混合產(chǎn)品，它預(yù)測(cè)一旦當(dāng)企業(yè)需要對(duì)大數(shù)據(jù)進(jìn)行管理，在明年將會(huì)尋找新技術(shù)，而不僅僅局限于Hadoop，這就和Pervasive的預(yù)測(cè)形成了強(qiáng)烈的對(duì)比，“MapR將占領(lǐng)傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的市場(chǎng)，Hadoop將會(huì)成為大數(shù)據(jù)分析的不二選擇”。

Hadoop上層

過(guò)去Hadoop已經(jīng)給我們帶來(lái)了許多微妙的預(yù)測(cè)。Rainstor預(yù)測(cè)，“企業(yè)的大數(shù)據(jù)熱情將從底層研究中釋放出來(lái)，他們會(huì)更多地關(guān)注一系列清晰的業(yè)務(wù)和技術(shù)。”MapR預(yù)測(cè)，“開(kāi)源(增加收入)的應(yīng)用將勝過(guò)節(jié)流應(yīng)用”。其他公司的預(yù)測(cè)基本上都認(rèn)為，明年的用戶(hù)將會(huì)轉(zhuǎn)移到成熟的更高層次的大數(shù)據(jù)模型之上。

雖然他們是對(duì)的，但是從底層中轉(zhuǎn)移出來(lái)并不容易，其中還有許多問(wèn)題尚未解決。許多預(yù)測(cè)師似乎都有同感，普遍的說(shuō)法是，Data Quality將會(huì)繼續(xù)成為企業(yè)的燙手山芋”。Progress DataDirect的專(zhuān)家預(yù)測(cè)，“企業(yè)將會(huì)被他們自己的數(shù)據(jù)淹沒(méi)，同時(shí)分散的數(shù)據(jù)也會(huì)帶來(lái)新的麻煩。”這些預(yù)測(cè)似乎有點(diǎn)危言聳聽(tīng)，但是在商務(wù)智能的世界里，這些預(yù)測(cè)已經(jīng)不新鮮了。如果說(shuō)大數(shù)據(jù)的世界能避免這些問(wèn)題，那恐怕只會(huì)是一場(chǎng)美好愿景下的炒作。一旦這些炒作過(guò)去，那些問(wèn)題就會(huì)凸顯，使你無(wú)法逃避。

數(shù)據(jù)分析和虛擬化

業(yè)界人士發(fā)給Adrew預(yù)測(cè)的并不只有Rainstor, Pervasive, MapR 和 Progress DataDirect。Adrew同樣收到了關(guān)注市場(chǎng)分析的BlueKai和iOS數(shù)據(jù)虛擬的供應(yīng)商Roambi的預(yù)測(cè)。他們的預(yù)測(cè)都是基于自己的服務(wù)，普遍涉及了用戶(hù)這個(gè)主題，指出他們必然會(huì)遇到更多、更復(fù)雜的問(wèn)題。

例如Roambi提到，“有一半的業(yè)務(wù)數(shù)據(jù)沒(méi)法利用到，這影響到了決策和預(yù)測(cè)的準(zhǔn)確性”。BlueKai的執(zhí)行總監(jiān)Omar Tawakol指出，“有遠(yuǎn)見(jiàn)的品牌會(huì)重新評(píng)估他們的代理，基于***化利用交叉頻道聽(tīng)眾的數(shù)據(jù)能力，去測(cè)量數(shù)據(jù)利用率和ROI。”

降低復(fù)雜度

大數(shù)據(jù)技術(shù)的落地將會(huì)有兩個(gè)特點(diǎn)：一個(gè)是對(duì)MapReduce依賴(lài)越來(lái)越少，另外一個(gè)是會(huì)把Hadoop技術(shù)深入的應(yīng)用到企業(yè)的軟件架構(gòu)中。

對(duì)于***個(gè)特點(diǎn)，Adrew指的是像Cloudera的Impala和微軟的PolyBase這樣的軟件會(huì)得到充分發(fā)展，他們繞開(kāi)了MapReduce，直接對(duì)存在HDFS中的數(shù)據(jù)進(jìn)行處理。MapR預(yù)測(cè)基于SQL的工具將和上面的軟件一起繼續(xù)發(fā)展，Pervasive預(yù)測(cè)，“YARN正在改變Hadoop的游戲規(guī)則，它不僅允許在Hadoop上運(yùn)行MapReduce應(yīng)用，同時(shí)還允許其他類(lèi)型的應(yīng)用在其上面部署。”

對(duì)于第二個(gè)特點(diǎn)，大規(guī)模的使用Hadoop是個(gè)必然趨勢(shì)，漸漸的就會(huì)形成行業(yè)的標(biāo)準(zhǔn)，進(jìn)而成為更有價(jià)值的軟件基礎(chǔ)，而不僅是自己內(nèi)部使用。因此，Adrew認(rèn)為我們會(huì)看到更多集成了Hadoop功能的商務(wù)智能和智能分析工具，這樣我們對(duì)Hadoop專(zhuān)家的依賴(lài)就會(huì)逐漸降下來(lái)。

拭目以待

這些預(yù)言中哪些會(huì)成為現(xiàn)實(shí)，讓我們一起拭目以待。