HDFS和MapReduce只是打造Hadoop平臺(tái)最基本的核心套件，在Apache基金會(huì)的網(wǎng)站中還有其他的相關(guān)開(kāi)源套件，共同組成了一個(gè)Hadoop體系（Hadoop Ecosystem）。

透過(guò)這些相關(guān)方案的延伸，開(kāi)發(fā)人員就算不懂Java，也可以用特定Script語(yǔ)言來(lái)撰寫(xiě)Hadoop上的MapReduce程序，甚至可以用SQL語(yǔ)法來(lái)查詢HDFS上的資料。這些周邊方案可說(shuō)是大幅強(qiáng)化Hadoop功能的軟體軍火庫(kù)，想要善用Hadoop的開(kāi)發(fā)人員不可錯(cuò)過(guò)。其中重要的周邊方案包括HBase、Hive 、ZooKeeper、Pig和Mahout。

HBase 能容納PB資料量的分散式資料庫(kù)

HBase是專(zhuān)門(mén)用於Hadoop檔案系統(tǒng)上的資料庫(kù)系統(tǒng)，採(cǎi)取Column-Oriented 資料庫(kù)設(shè)計(jì)，不同於傳統(tǒng)的關(guān)聯(lián)式資料庫(kù)，例如沒(méi)有資料表、Schema資料架構(gòu)等功能，而是採(cǎi)用Key-Value形式的資料架構(gòu)，每筆資料都有一個(gè)Key值對(duì)應(yīng)到一個(gè)Value值，再透過(guò)多維度的對(duì)應(yīng)關(guān)係來(lái)建立類(lèi)似表格效果的資料架構(gòu)。如此就能採(cǎi)取分散式儲(chǔ)存方式，可以擴(kuò)充到數(shù)千臺(tái)服務(wù)器，以應(yīng)付PB等級(jí)的資料處理。

Hive 可用SQL語(yǔ)法存取Hadoop資料

Hive是建置在HDFS上的一套分散式資料倉(cāng)儲(chǔ)系統(tǒng)，可讓使用者以慣用的SQL語(yǔ)法，來(lái)存取Hadoop檔案中的大型資料集，例如可以使用Join、Group by、Order by等，而這個(gè)語(yǔ)法稱(chēng)為Hive QL。不過(guò)，Hive QL和SQL并非完全相同，例如Hive就不支援Store Procedure、Trigger等功能。

Hive會(huì)將使用者輸入的Hive QL指令編譯成Java程序，再來(lái)存取HDFS檔案系統(tǒng)上的資料，所以，執(zhí)行效率依指令復(fù)雜度和處理的資料量而異，可能有數(shù)秒鐘，甚至是數(shù)分鐘的延遲。和HBase相比，Hive容易使用且彈性高，但執(zhí)行速度較慢。不少資料庫(kù)系統(tǒng)，都是透過(guò)先連結(jié)到Hive，才能與Hadoop整合。例如微軟就是透過(guò)Hive ODBC驅(qū)動(dòng)程序，將SQL指令轉(zhuǎn)換成Hive QL，讓Excel可以存取Hadoop上的資料。

在同一個(gè)Hadoop叢集中，Hive可以存取HBase上的資料，將HBase上的資料對(duì)應(yīng)成Hive內(nèi)的一個(gè)表格。

Pig 不懂Java開(kāi)發(fā)也能寫(xiě)MapReduce

Pig提供了一個(gè)Script語(yǔ)言Pig Latin，語(yǔ)法簡(jiǎn)單，類(lèi)似可讀性高的高階Basic語(yǔ)言，可用來(lái)撰寫(xiě)MapReduce程序。Pig會(huì)自動(dòng)將這些腳本程序轉(zhuǎn)換，成為能在Hadoop中執(zhí)行的MapReduce Java程序。

因此，使用者即使不懂Java也能撰寫(xiě)出MapReduce。不過(guò)，一般來(lái)說(shuō)，透過(guò)Pig腳本程序轉(zhuǎn)換，會(huì)比直接用Java撰寫(xiě)MapReduce的效能降低了25％。

ZooKeeper 讓Hadoop內(nèi)部服務(wù)器能協(xié)同運(yùn)作

Zookeeper是監(jiān)控和協(xié)調(diào)Hadoop分散式運(yùn)作的集中式服務(wù)，可提供各個(gè)服務(wù)器的配置和運(yùn)作狀態(tài)資訊，用於提供不同Hadoop系統(tǒng)角色之間的工作協(xié)調(diào)。

以HBase資料庫(kù)為例，其中有兩種服務(wù)器角色：Region服務(wù)器角色和Master服務(wù)器角色，系統(tǒng)會(huì)自動(dòng)透過(guò)ZooKeeper監(jiān)看Master服務(wù)器的狀態(tài)，一旦Master的運(yùn)作資訊消失，代表當(dāng)機(jī)或網(wǎng)路斷線，HBase就會(huì)選出另一臺(tái)Region服務(wù)器成為Mater角色來(lái)負(fù)責(zé)管理工作。

Mahout 即時(shí)可用的常用MapReduce函數(shù)庫(kù)

在Hadoop中，開(kāi)發(fā)人員必須將資料處理作法拆解成可分散運(yùn)算的Map和Reduce程序，因?yàn)樗伎歼壿嫼统Ｒ?jiàn)的程序開(kāi)發(fā)邏輯不同，所以開(kāi)發(fā)難度狠高。Mahout則提供了一個(gè)常用的MapReduce函式庫(kù)，常見(jiàn)的數(shù)值分析方法、叢集分類(lèi)和篩選方式，都已經(jīng)有對(duì)應(yīng)的MapReduce函數(shù)可呼叫，開(kāi)發(fā)人員就不必再重復(fù)開(kāi)發(fā)一次。