你了解Hadoop分布式計算平臺的過去與現(xiàn)在嗎?Hadoop是基于Java的開源軟件架構，運行分布的、數(shù)據(jù)密集型應用。它能夠讓應用安全擴展以處理數(shù)千個節(jié)點以及PB級數(shù)據(jù)。日前，Apache透露Hadoop將脫離雅虎，由Hortonworks管理。下文中將提到許多Hadoop分布式系統(tǒng)以及這五年來的開源軟件的發(fā)展史。

Hadoop是一種針對大數(shù)據(jù)分析的開源分布式計算平臺，是由Apache軟件基金會主席Doug Cutting在雅虎時創(chuàng)建。近日在美國圣克拉拉第五年度Hadoop峰會上發(fā)布了不少關于Hadoop的重大新聞。

首先，Cutting透露Hadoop將要正式脫離雅虎，由Hortonworks管理，Hortonworks是一個由風投公司創(chuàng)新的新公司，是根據(jù)Seuss博士的電影“霍頓奇遇記”中的大象角色的名字命名的。

第二， Hadoop技術從一個科學項目到主流的商業(yè)應用經(jīng)歷了五年的時間。Hortonworks這個名字對新公司來說恰到好處，因為對它與Hadoop一樣，是以一個玩具大象的名字(總裁兒子的玩具)來命名的。

Apache Hadoop是一個基于Java的開源軟件架構，運行分布的、數(shù)據(jù)密集型應用。它能夠讓應用安全擴展以處理數(shù)千個節(jié)點以及PB級數(shù)據(jù)。越來越多的企業(yè)發(fā)現(xiàn)他們需要分析存儲的數(shù)據(jù)來幫助他們做更好的業(yè)務決策。目前市場中有許多Hadoop分布式系統(tǒng)，這將在下文中提到。另外，文中還會提到這五年來的開源軟件的發(fā)展史。

1、雅虎創(chuàng)立Hortonworks 引導Hadoop社區(qū)

6月29日，風投公司投資創(chuàng)建了獨立的私人公司Hortonworks，來引導Hadoop社區(qū)，并推廣開源產(chǎn)品。曾經(jīng)是其母公司的雅虎，現(xiàn)在是它的客戶之一。

2、Hadoop不再是科學項目了

雅虎將Hadoop從創(chuàng)始人Doug Cutting的科學項目中變成一個世界級平臺，僅用了五年的時間。貢獻了超過70%的代碼，使其成為IT產(chǎn)業(yè)里優(yōu)秀的大數(shù)據(jù)平臺。#p#

3、Hadoop是IBM沃森的關鍵部分

[[36926]]

Hadoop的分析和數(shù)據(jù)發(fā)現(xiàn)能力是IBM Watson計算機能夠在《危險邊緣》比賽中戰(zhàn)勝另外兩位人類前冠軍的重要原因。

4、最大的部署：每天200PB的數(shù)據(jù)

[[36927]]

在技術領域最大的部署環(huán)境(例如雅虎)，每天Hadoop于分析超過200PB的數(shù)據(jù)，讓雅虎變得更人性化，更貼近用戶和客戶。它與雅虎IT系統(tǒng)的方方面面進行協(xié)作，包括包括搜索、廣告、用戶體驗和欺詐發(fā)現(xiàn)。#p#

5、給力的系統(tǒng) 應對大數(shù)據(jù)

[[36928]]

雅虎的Hadoop系統(tǒng)包括超過4萬2千臺的服務器，以及由4000臺設備組成的集群，每個月能夠處理超過500萬份工作。每天都會有1400萬份新文件進入Hadoop系統(tǒng)，這一切根本就是小菜一碟。

6、Hadoop或圍繞平臺出售服務

Hadoop軟件是作為一個開源項目可免費獲得的，未來將推出一系列高級服務針對那些需要更高級別服務的企業(yè)。#p#

7、抗擊垃圾郵件立大功 個人頁面自由定制

[[36930]]

Hadoop讓2.89億個雅虎郵箱免受垃圾郵件侵擾。另外，Hadoop還在1300萬個按個人使用習慣定制的web界面中扮演了關鍵的角色。

8、不僅僅是應對網(wǎng)絡流量

Hadoop已經(jīng)演進到不僅僅局限于應對網(wǎng)絡流量和科學研究(圖為歐洲核子研究中心超級對撞機)。現(xiàn)在它還用于搜索引擎、廣告優(yōu)化、機器學習和內容 力改進和內容提供。它每天能夠向研究集群中載入10TB的數(shù)據(jù)。#p#

9、Hadoop新型公司快速成長

[[36931]]

MapR、Zettaset、Cloudera、HStreaming、Hadapt、DataStax、Datameer這些與Hadoop相關的新公司已經(jīng)獲得投資，為人們所熟知，為各種市場帶來最新技術。

10、Hadoop仍需改進

[[36932]]

雅虎和Hortonworks的高層已承認Hadoop仍然需要時間去發(fā)展，以便更加容易的使用，尤其是用戶交互界面需要更加的完善，不過兩家公司的團隊都相信他們將在數(shù)月內解決這個問題。

原文：http://stor-age.zdnet.com.cn/stor-age/2011/0719/2047554.shtml

【編輯推薦】

1. Apache Hadoop最佳實踐和反模式
2. 淺析Hbase中的Hadoop單機環(huán)境配置
3. 從開源到開放，開源已經(jīng)不再是賣點?