Hadoop從誕生至今已經(jīng)十三年了。2006年誕生大數(shù)據(jù)，2008年成為Apache的***項(xiàng)目，成為國內(nèi)外互聯(lián)網(wǎng)大數(shù)據(jù)的標(biāo)準(zhǔn)配置之一。長久以來，想要入行大數(shù)據(jù)開發(fā)Hadoop也是必學(xué)。最近確對Hadoop哀聲一片，更多喊得是擁抱云計(jì)算，摒棄Hadoop。

目前有一個(gè)很悲觀的問題，Hadoop正在快速的失去原本屬于它的市場。 

該領(lǐng)域曾經(jīng)的領(lǐng)頭羊 Cloudera、Hortonworks 和 MapR 三家公司最近步履蹣跚，過去作為數(shù)據(jù)寵兒的他們可以籌措到源源不斷的巨額投資，英特爾公司就曾向 Cloudera 注入 7.66 億美元，這僅僅是一輪投資的數(shù)額，而有趣的是在去年年底Cloudera 和 Hortonworks 宣布合并，并且公告聲稱這將是“merger of equals(平等的合并)”(也可能是這兩家公司無法獨(dú)自存活了)，然鵝MapR 成為了犧牲品，根據(jù) LinkedIn 的數(shù)據(jù)，在過去兩年中，MapR 公司縮水了 29%，Cloudera的股價(jià)一下子暴跌40%。

之前的大數(shù)據(jù)領(lǐng)域過度炒作，泡沫破滅后歸于現(xiàn)實(shí)，Hadoop領(lǐng)頭羊步履蹣跚。MongoDB數(shù)據(jù)庫越來越受歡迎，與老牌數(shù)據(jù)庫MySQL和Oracle形成三足鼎立的姿態(tài)。與MongoDB相似的Elasticsearch分布式搜索和分析引擎背后的Elastic公司一個(gè)季度的收入激增70%，員工人數(shù)增加一倍。看到這里就納悶了，MongoDB和Elasticsearch等技術(shù)應(yīng)該是無法撼動Hadoop的，但是現(xiàn)在確發(fā)展形式一片大好?

個(gè)體開發(fā)人員擁抱云

個(gè)體假發(fā)人員對云的追捧是一個(gè)原因。雖然Cloudera、Hortonworks和MapR拼命地從內(nèi)部部署產(chǎn)品發(fā)展而來，來自AWS、微軟Azure和谷歌的云原生方案都共同提供了“完全集成的產(chǎn)品，它們的購置成本更低，擴(kuò)展起來費(fèi)用更省。”Hadoop最主要的用途一直是廉價(jià)存儲。云存儲變得更便宜，加上S3+ EMR及其他服務(wù)的用戶體驗(yàn)要好上百千倍。顯然，Hadoop可能是傳統(tǒng)專有數(shù)據(jù)倉庫的出色替代品，但遠(yuǎn)不如像基于云的Snowflake這些更現(xiàn)代化的方法那么好。 

“沒有人知道這些 Hadoop 公司到底在做什么”。Hadoop 供應(yīng)商爭先恐后地為他們的 Hadoop 產(chǎn)品添加各種開源插件(Impala、Pig、Hive、Flume)，發(fā)明“解決方案技術(shù)棧”，讓Hadoop產(chǎn)品更加的繁瑣和累贅，成本也越來越高。對比上云，MongoDB與Elasticsearch也是因?yàn)樗鼈兗饶芙鉀Q了Hadoop相同的問題，使用還比Hadoop簡單，簡單直接的方案和低廉的成本更適合個(gè)體開發(fā)人員。

如今，Cloudera 在其網(wǎng)站首頁以粗體字寫著：“我們?yōu)槿魏螖?shù)據(jù)提供企業(yè)數(shù)據(jù)云，從 Edge 到 AI ”(We deliver an Enterprise Data Cloud for any data, anywhere, from the Edge to AI)。不再是 Hadoop 和 CDH，不再是大數(shù)據(jù)。現(xiàn)在他們做企業(yè)云和人工智能。Hadoop現(xiàn)在真的很糟糕嗎?并沒有，Hadoop的過去十年是被炒的火熱的技術(shù)，非常多的企業(yè)在購買這個(gè)技術(shù)，甚至是一些創(chuàng)業(yè)公司也在購買并使用這個(gè)技術(shù)，“大數(shù)據(jù)”的炒作和泡沫告訴各個(gè)企業(yè)，F(xiàn)acebook、LinkedIn、Google這些企業(yè)的成功是可以復(fù)制的，利用好大數(shù)據(jù)的力量你也可以達(dá)到這樣的規(guī)模，變得一樣成功。總之，“大數(shù)據(jù)”在銷售的不是技術(shù)，而是在把IT巨頭的成功賣給這些傳統(tǒng)企業(yè)和創(chuàng)業(yè)公司。

一個(gè)十年的結(jié)束，一個(gè)十年的開始。 

大數(shù)據(jù)前十年處于一個(gè)飛速發(fā)展的時(shí)期，但是并不代表有些什么新的技術(shù)突破可以取代掉“大數(shù)據(jù)”，Hadoop依然是一種可行的技術(shù)，它的時(shí)代并沒有結(jié)束，真正結(jié)束的是“大數(shù)據(jù)”炒作的時(shí)代結(jié)束了。現(xiàn)在的熱門趨勢是AI和機(jī)器學(xué)習(xí)，它們講再次循環(huán)一個(gè)十年，營銷人員不斷的推銷新軟件，還是以IT巨頭為代表，讓傳統(tǒng)行業(yè)為其買單，吹起下一個(gè)科技泡沫。而接下來的十年Hadoop該何去何從?它還值得你學(xué)習(xí)嗎?

Hadoop的時(shí)代并沒有結(jié)束

個(gè)體用戶會繼續(xù)追求簡單直接和低成本，大量的需求會出現(xiàn)越來越多的云廠商，這對Hadoop發(fā)展很不利，未來將面臨更多的挑戰(zhàn)。

很多企業(yè)的數(shù)據(jù)是遠(yuǎn)遠(yuǎn)談不上大數(shù)據(jù)的范疇的。但是企業(yè)只要還在運(yùn)營，就一定能產(chǎn)生數(shù)據(jù)，運(yùn)營的時(shí)間越長久，規(guī)模越大就一定會遇到“大數(shù)據(jù)問題”，這是種必然的現(xiàn)象。大數(shù)據(jù)技術(shù)現(xiàn)在只有脫下光鮮亮麗的外衣，脫離聚光燈的照射慢慢沉淀，才會有更多機(jī)會的發(fā)展，Hadoop技術(shù)始終還是值得你學(xué)習(xí)的。