經(jīng)過無數(shù)權(quán)威媒體的反復(fù)轟炸，我們大致已經(jīng)相信，數(shù)據(jù)科學(xué)家是21世紀(jì)最神秘最性感最多金的職業(yè)，他們是大數(shù)據(jù)時代數(shù)據(jù)炸彈的拆彈專家，企業(yè)數(shù)字化經(jīng)營的發(fā)動機(jī)，他們的身價堪比NFL四分衛(wèi)，而且，他們比昆侖山上的雪豹數(shù)量還少。

顯然，數(shù)據(jù)科學(xué)家個個都是十八般數(shù)據(jù)分析武藝樣樣精通的絕世高手，但他們近來也有煩心事。不久前，開源數(shù)據(jù)庫SciDB開發(fā)商Paradigm4進(jìn)行的一項(xiàng)針對111名北美數(shù)據(jù)科學(xué)家的調(diào)查顯示，71%的數(shù)據(jù)科學(xué)家認(rèn)為數(shù)據(jù)來源的多樣性（IT經(jīng)理網(wǎng)記者此前曾與百度創(chuàng)始七劍客之一，酷我音樂CEO雷鳴討論機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析的最大挑戰(zhàn)，他也認(rèn)為是數(shù)據(jù)維度），而不是數(shù)據(jù)總量構(gòu)成其職業(yè)最大威脅和挑戰(zhàn)。

值得注意的是，只有48%的受訪數(shù)據(jù)科學(xué)家表示他們在工作中曾使用過Hadoop或者Spark，高達(dá)76%的數(shù)據(jù)科學(xué)家抱怨Hadoop太慢，編程速度過慢，以及其他一些局限性。（參考閱讀：Hadoop真特么難用）

雖然Hadoop口碑不佳，但是有接近半數(shù)的數(shù)據(jù)科學(xué)家表示很難將數(shù)據(jù)存入傳統(tǒng)關(guān)系數(shù)據(jù)庫表中。Nexedi的首席執(zhí)行官Jean-Paul Smets在接受IT經(jīng)理網(wǎng)采訪時也曾指出，大數(shù)據(jù)的真正難題其實(shí)并不是所謂的“大”，業(yè)界目前缺乏是通過使用高效的分布式運(yùn)算法則來處理數(shù)據(jù)的軟件，Hadoop過于依賴Java，而Java已經(jīng)被Oracle牢牢控制。中國興起的去IOE運(yùn)動，實(shí)際上為Hadoop之外的大數(shù)據(jù)軟件方案提供了良機(jī)。

企業(yè)大數(shù)據(jù)進(jìn)入復(fù)雜分析階段

根據(jù)報告，有59%的數(shù)據(jù)科學(xué)家表示其所在企業(yè)已經(jīng)開始采用更加復(fù)雜的分析技術(shù)，例如集群、機(jī)器學(xué)習(xí)、種量分析（Principal components analysis）、圖論分析等高級分析技術(shù)分析數(shù)據(jù)，而不是局限于傳統(tǒng)的BI報告。

還有15%的數(shù)據(jù)科學(xué)家表示計劃在明年啟用復(fù)雜分析技術(shù)，另有16%的數(shù)據(jù)科學(xué)家表示將在未來兩年內(nèi)采用復(fù)雜分析技術(shù)。

Hadoop被過度吹捧

Paradigm4的報告指出，Hadoop被過度吹捧成無所不能的，革命性的大數(shù)據(jù)解決方案，實(shí)際上Hadoop并不適用于需要進(jìn)行復(fù)雜分析的大數(shù)據(jù)應(yīng)用場景。

Hadoop的核心技術(shù)方法數(shù)據(jù)并行（data parallel），被Paradigm4稱作“鬧心的并行”。報告指出，復(fù)雜分析人物往往需要經(jīng)常訪問、處理和分享全體數(shù)據(jù)，并在數(shù)據(jù)處理中交叉溝通中間結(jié)果，而這恰恰是Hadoop MapReduce的軟肋。

22%的受調(diào)查數(shù)據(jù)科學(xué)家表示Hadoop和Spark壓根不適合他們的分析任務(wù)，此外還有35%的數(shù)據(jù)科學(xué)家在嘗試Hadoop或Spark后停止使用這兩項(xiàng)技術(shù)。

Paradigm4數(shù)據(jù)科學(xué)家調(diào)查報告中的一些亮點(diǎn)被濃縮在下面這張信息圖中，供有興趣的讀者深究：

本文出自：IT經(jīng)理網(wǎng)