“現(xiàn)在是企業(yè)應(yīng)用Hadoop的最佳時(shí)機(jī)。”Hortonworks公司首席技術(shù)官Jeff Markham在11月底舉行的2013中國(guó)Hadoop技術(shù)峰會(huì)上演講時(shí)表示。在本次峰會(huì)上，Hadoop進(jìn)入2.0時(shí)代成了人們談?wù)摰慕裹c(diǎn)。Jeff Markham表示，Hadoop 2.0擁有更強(qiáng)大、更廣泛的符合企業(yè)用戶需求的新特性，彌補(bǔ)了Hadoop 1.0的不足之處，更符合企業(yè)用戶的需求。 

　　Hadoop改頭換面

　　Jeff Markham在介紹Hadoop 2.0的新特性時(shí)，記者聽到身后有人竊竊私語：“你看，Hadoop 2.0的框架中多了幾個(gè)奇怪的功能模塊。”是的，這些功能模塊中最重要的就是YARN。YARN其實(shí)是一個(gè)資源管理器，它從某種程度上說顛覆了Hadoop的數(shù)據(jù)處理核心MapReduce，能讓用戶以與批處理完全不同的新的交互方式來運(yùn)行Hadoop。眾所周知，Hadoop的設(shè)計(jì)初衷是為了搜索和索引Web網(wǎng)頁，而負(fù)責(zé)操控?cái)?shù)據(jù)的MapReduce擅長(zhǎng)處理和分析非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù)，比如日志文件等，但并不適合處理所有類型的數(shù)據(jù)。隨著數(shù)據(jù)量的增長(zhǎng)以及數(shù)據(jù)復(fù)雜性的增加，人們更希望能夠在一個(gè)集群中處理多種類型的應(yīng)用程序。這也是Hadoop 2.0誕生的背景。

　　有人認(rèn)為，YARN本質(zhì)上就是Hadoop的新操作系統(tǒng)，它突破了MapReduce的性能瓶頸。Hadoop與YARN的組合更適合企業(yè)大數(shù)據(jù)的應(yīng)用。YARN的設(shè)計(jì)思想是將資源管理與作業(yè)調(diào)度/監(jiān)控功能分離，其架構(gòu)實(shí)現(xiàn)是通過一個(gè)全局的ResourceManager與若干個(gè)面向具體應(yīng)用程序的ApplicationMaster的組合，其中ResourceManager負(fù)責(zé)將資源分配到各個(gè)應(yīng)用程序，而ApplicationMaster負(fù)責(zé)運(yùn)行和監(jiān)控任務(wù)。Jeff Markham表示：“加入YARN這一管理層，讓Hadoop可以更好地滿足企業(yè)級(jí)用戶對(duì)大數(shù)據(jù)平臺(tái)的需求。我們公司從安全、管理、配置等多個(gè)層面已經(jīng)為Hadoop 2.0進(jìn)入企業(yè)做好了準(zhǔn)備。”

　　Hadoop 2.0已經(jīng)不是一個(gè)設(shè)想，而是實(shí)實(shí)在在的解決方案。中國(guó)本土的大數(shù)據(jù)公司星環(huán)信息科技(上海)有限公司(以下簡(jiǎn)稱星環(huán)科技)就在峰會(huì)上宣布，正式推出融合Spark與Hadoop 2.0的大數(shù)據(jù)平臺(tái)產(chǎn)品Transwarp Data Hub。“企業(yè)用戶的一個(gè)共同想法是，更高效地處理更大量的數(shù)據(jù)，同時(shí)降低時(shí)延。”星環(huán)科技聯(lián)合創(chuàng)始人、CTO孫元浩介紹說，“以前，針對(duì)不同數(shù)量級(jí)的數(shù)據(jù)，人們會(huì)采用不同的處理技術(shù)，比如內(nèi)存技術(shù)、索引技術(shù)以及一些性能優(yōu)化技術(shù)等。Transwarp Data Hub的一個(gè)最突出的優(yōu)勢(shì)是，可以在一個(gè)平臺(tái)上處理從GB級(jí)到PB級(jí)的數(shù)據(jù)。”

　　正是因?yàn)門ranswarp Data Hub具備了這樣的能力，所以它的應(yīng)用范圍十分廣泛，包括離線分析、統(tǒng)計(jì)與挖掘、在線存儲(chǔ)以及在線的基于內(nèi)存的高速分析等。Transwarp Data Hub將數(shù)據(jù)集成/ETL、大數(shù)據(jù)存儲(chǔ)和在線服務(wù)系統(tǒng)、基于內(nèi)存的高效計(jì)算引擎、高性能SQL、統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)等融為一體，實(shí)現(xiàn)了性能上的突破。用孫元浩的話說，Transwarp Data Hub具有“閃電”般的速度，其速度比開源Hadoop 2.0快10～100倍。此外，Transwarp Data Hub還具有強(qiáng)大的分析能力，并與Hadoop生態(tài)系統(tǒng)全面兼容。

　　以Transwarp Data Hub為核心，星環(huán)科技還與許多大數(shù)據(jù)廠商進(jìn)行了合作，包括Revolution R、Informatica、Tableau等，將這些廠商的數(shù)據(jù)處理與分析工具進(jìn)行整合，構(gòu)成了完整的大數(shù)據(jù)平臺(tái)。

　　降低應(yīng)用門檻

　　由于Hadoop本身的復(fù)雜性，以及企業(yè)中缺少相關(guān)的大數(shù)據(jù)專業(yè)技術(shù)人員，Hadoop若想在企業(yè)用戶中得到快速普及其實(shí)并不容易。因此，很多IT廠商紛紛向Hadoop拋出“橄欖枝”，有的提供基于Hadoop的硬件解決方案，有的則推出了Hadoop軟件的商業(yè)發(fā)行版，其目的只有一個(gè)，就是降低Hadoop的應(yīng)用門檻。

　　在本次峰會(huì)上，許多知名IT廠商，包括英特爾、VMware、華為等以及眾多電信運(yùn)營(yíng)、互聯(lián)網(wǎng)企業(yè)都現(xiàn)身說法，為Hadoop在中國(guó)的推廣站腳助威。英特爾亞太研發(fā)有限公司總經(jīng)理何京翔表示，除了發(fā)布Hadoop商業(yè)發(fā)行版以外，英特爾從硬件(包括處理器、固態(tài)硬盤等)、安全性、管理和優(yōu)化等多個(gè)角度對(duì)Hadoop提供全方位支持，目的就是讓Hadoop更能滿足企業(yè)用戶的需要。

本文出自 “郭濤的存儲(chǔ)世界” 博客，請(qǐng)務(wù)必保留此出處http://gtstorageworld.blog.51cto.com/908359/1339080