Hadoop 2.0集群配置詳細(xì)教程

作者：楊鑫奇 2012-09-18 09:55:44

Hadoop是apache的開源項目，開發(fā)的主要目的是為了構(gòu)建可靠，可拓展scalable ，分布式的系統(tǒng)， Hadoop是一系列的子工程的總和。我們今天就談?wù)凥adoop 2.0集群配置。

1. hadoop common：為其他項目提供基礎(chǔ)設(shè)施

2. HDFS 分布式的文件系統(tǒng)

3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一個簡化分布式編程的框架。

4. 其他工程包含： Avro( 序列化系統(tǒng) ) ，Cassandra( 數(shù)據(jù) 庫項目 ) 等

Hadoop,以 Hadoop 分布式文件系統(tǒng)（ HDFS ，Hadoop Distributed Filesystem ）和 MapReduce （ Google MapReduce 的開源實現(xiàn)）為核心的 Hadoop 為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。

對于 Hadoop 的集群來講，可以分成兩大類角色： Master 和 Salve 。一個 HDFS 集群是由一個 NameNode 和若干個 DataNode 組成的。其中 NameNode 作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的DataNode 管理存儲的數(shù)據(jù)。 MapReduce 框架是由一個單獨運行在主節(jié)點上的 JobTracker 和運行在每個集群從節(jié)點的 TaskTracker 共同組成的。主節(jié)點負(fù)責(zé)調(diào)度構(gòu)成一個作業(yè)的所有任務(wù)，這些任務(wù)分布在不同的從節(jié)點上。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務(wù)；從節(jié)點僅負(fù)責(zé)由主節(jié)點指派的任務(wù)。當(dāng)一個 Job 被提交時， JobTracker 接收到提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調(diào)度任務(wù)并監(jiān)控 TaskTracker 的執(zhí)行。

從上面的介紹可以看出， HDFS 和 MapReduce 共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS 在集群上實現(xiàn)分布式文件系統(tǒng)， MapReduce 在集群上實現(xiàn)了分布式計算和任務(wù)處理。 HDFS 在 MapReduce 任務(wù)處理過程中提供了文件操作和存儲等支持， MapReduce在HDFS的基礎(chǔ)上實現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了 Hadoop 分布式集群的主要任務(wù)。

為什么要使用2.0版本（來自董的博客）

該版本提供了一些新的、重要的功能，包括：

• HDFS HA ，當(dāng)前只能實現(xiàn)人工切換。

Hadoop HA 分支 merge 進(jìn)了該版本，并支持熱切，主要特性包括：

（ 1 ） NN 配置文件有改變，使得配置更加簡單

（ 2 ） NameNode 分為兩種角色： active NN 與 standby NN ， active NN 對外提供讀寫服務(wù)，一旦出現(xiàn)故障，便切換到 standby NN 。

（ 3 ）支持 Client 端重定向，也就是說，當(dāng) active NN 切換到 standby NN 過程中， Client 端所有的進(jìn)行時操作都可以無縫透明重定向到 standby NN 上， Client 自己感覺不到切換過程。

（ 4 ） DN 同時向 active NN 和 standby NN 匯報 block 信息。

具體設(shè)計文檔參考： https://issues.apache.org/jira/browse/HDFS-1623

當(dāng)前 Hadoop HA 只能實現(xiàn)人工切換，該功能在某些情況下非常有用，比如，對 NN 進(jìn)行升級時，先將 NN 切換到 standby NN ，并對之前的 active NN 進(jìn)行升級，升級完成后，再將 NN 切換至升級后的 NN 上，然后對 standby NN 進(jìn)行升級。

• YARN ，下一代 MapReduce 這是一套資源統(tǒng)一管理和調(diào)度平臺，可管理各種計算框架，包括 MapReduce 、 Spark 、 MPI 等。

YARN 是一套資源統(tǒng)一管理和調(diào)度平臺，可管理各種計算框架，包括 MapReduce ， Spark ， MPI 等。盡管它是完全重寫而成，但其思想是從 MapReduce 衍化而來的，并克服了它在擴(kuò)展性和容錯性等方面的眾多不足。具體參考：

http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html

• HDFS Federation ，允許 HDFS 中存在多個 NameNode ，且每個 NameNode 分管一部分目錄，而 DataNode 不變，進(jìn)而縮小了故障帶來的影響范圍，并起到一定的隔離作用。

傳統(tǒng) HDFS 是 master/slave 結(jié)構(gòu)，其中， master （也就是 NameNode ）需要存儲所有文件系統(tǒng)的元數(shù)據(jù)信息，且所有文件存儲操作均需要訪問多次 NameNode ，因而 NameNode 成為制約擴(kuò)展性的主要瓶頸所在。為了解決該問題，引入了 HDFS Federation ，允許 HDFS 中存在多個 NameNode ，且每個 NameNode 分管一部分目錄，而 DataNode 不變，也就是 “ 從中央集權(quán) 專政變?yōu)楦鱾€地方自治 ” ，進(jìn)而縮小了故障帶來的影響范圍，并起到一定的隔離作用。具體參考：

http://dongxicheng.org/mapreduce-nextgen/nextgen-mapreduce-introduction/

• 基準(zhǔn)性能測試

該版本中為 HDFS 和 YARN 添加了性能的基準(zhǔn) 測試集，其中 HDFS 測試包括：

（ 1 ） dfsio 基準(zhǔn) 測試 HDFS I/O 讀寫性能

（ 2 ） slive 基準(zhǔn) 測試 NameNode 內(nèi)部操作的性能

（ 3 ） scan 基準(zhǔn) 測試 MapReduce 作業(yè)訪問 HDFS 的 I/O 性能

（ 4 ） shuffle 基準(zhǔn) 測試 shuffle 階段性能

（ 5 ） compression 基準(zhǔn) 測試 MapReduce 作業(yè)中間結(jié)果和最終結(jié)果的壓縮性能

（ 6 ） gridmix-V3 基準(zhǔn) 測試集群吞吐率

YARN 測試包括 :

（ 1 ） ApplicationMaster 擴(kuò)展性基準(zhǔn)測試

主要測試調(diào)度 task/container 的性能。與 1.0 版本比較，大約快 2 倍。

（ 2 ） ApplicationMaster 恢復(fù)性基準(zhǔn) 測試

測試 YARN 重啟后，作業(yè)恢復(fù)速度。稍微解釋一下 ApplicationMaster 恢復(fù)作業(yè)的功能：在作業(yè)執(zhí)行過程中， Application Master 會不斷地將作業(yè)運行狀態(tài)保存到磁盤上，比如哪些任務(wù)運行完成，哪些未完成等，這樣，一旦集群重啟或者 master 掛掉，重啟后，可復(fù)原各個作業(yè)的狀態(tài)，并只需重新運行未運行完成的哪些任務(wù)。

（ 3 ） ResourceManager 擴(kuò)展性基準(zhǔn)測試

通過不斷向 Hadoop 集群中添加節(jié)點測試 RM 的擴(kuò)展性。

（ 4 ）小作業(yè)基準(zhǔn)測試

專門測試批量小作業(yè)的吞吐率

具體參考：

http://hortonworks.com/blog/delivering-on-hadoop-next-benchmarking-performance/

• 通過 protobufs 來提供HDFS 和YARN 的兼容性

Wire-compatibility for both HDFS & YARN

Hadoop RPC采用了Hadoop自己的一套序列化框架對各種對象進(jìn) 行序列化反序列，但存在一個問題：擴(kuò) 展性差，很難添加新的數(shù)據(jù)類型同時保證版本兼容性。為此，Hadoop 2.0將數(shù)據(jù)類型模塊從RPC中獨立出來，成為一個獨立的可插拔模塊，這樣允許用戶根據(jù)個人愛好使用各種序列化/反序列化框架，比如thrift，arvo，protocal Buffer等，默認(rèn) 情況采用Protocal Buffer。

http://hortonworks.com/blog/rpc-improvements-and-wire-compatibility-in-apache-hadoop/

除了以上五個特性外，還有兩個非常重要的特性正在研發(fā) 中，分別是：

• HDFS快照

用戶可在任意時間對 HDFS做快照，這樣，在HDFS出現(xiàn) 故障時，可將數(shù)據(jù)恢復(fù)到某個時間點的狀態(tài) 。具體參考：

http://hortonworks.com/blog/snapshots-for-hdfs/

• HDFS HA自動切換

前面介紹的第一個功能“HDFS HA”當(dāng)前只能實現(xiàn) 人工切換，也就是說，管理員運行某個命令，使得acitve NN切換到standby NN上。以后將支持自動切換，也就是說，監(jiān) 控模塊可檢測出active NN何時出現(xiàn) 故障，并自動將之切換到standby NN上，這樣可大大較小Hadoop集群運維人員的工作量。具體參考：

http://s.apache.org/hdfs-autofailover

準(zhǔn)備

機器準(zhǔn)備

物理機器總共4臺，想配置基于物理機的hadoop集群中包括 4 個節(jié)點： 1 個 Master ， 3 個 Salve ，節(jié)點之間局域網(wǎng)連接，可以相互 ping 通

Ip分布為

192.168.1.201 hadoop1

192.168.1.202 hadoop2

192.168.1.203 hadoop3

192.168.1.204 hadoop4

操作系統(tǒng)為 CentOS 5.6 64bit

Master機器主要配置NameNode和JobTracker的角色，負(fù)責(zé)總管分布式數(shù)據(jù)和分解任務(wù) 的執(zhí) 行；3個Salve機器配置DataNode和TaskTracker的角色，負(fù)責(zé) 分布式數(shù)據(jù)存儲以及任務(wù) 的執(zhí) 行。其實應(yīng)該還應(yīng)該有1個Master機器，用來作為備用，以防止Master服務(wù) 器宕機，還有一個備用馬上啟用。后續(xù)經(jīng)驗積累一定階段后補上一臺備用Master機器。

創(chuàng)建賬戶

使用root登陸所有機器后，所有的機器都創(chuàng)建 hadoop 用戶

useradd hadoop

passwd hadoop

此時在 /home/ 下就會生成一個 hadoop 目錄，目錄路徑為 /home/hadoop

創(chuàng)建相關(guān)的目錄

定義需要數(shù)據(jù)及目錄的存放路徑

定義代碼及工具存放的路徑

mkdir -p /home/hadoop/source 
mkdir -p /home/hadoop/tools

定義數(shù)據(jù) 節(jié) 點存放的路徑到跟目錄下的hadoop文件夾, 這里是數(shù)據(jù) 節(jié) 點存放目錄需要有足夠的空間存放

mkdir -p /hadoop/hdfs 
mkdir -p /hadoop/tmp 
mkdir -p /hadoop/log

設(shè) 置可寫權(quán)限

chmod -R 777 /hadoop

定義 java安裝程序路徑

mkdir -p /usr/java

安裝

安裝JDK

http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html

在以上連接下載 linux 64 下的 jdk 的安裝文件： jdk-6u32-linux-x64.bin

1 ，將下載好的 jdk-6u32-linux-x64.bin 通過 SSH 上傳到 /usr/java 下

scp -r ./jdk-6u32-linux-x64.bin root@hadoop1:/usr/java

2 ，進(jìn)入 JDK 安裝目錄 cd /usr/java 并且執(zhí)行 chmod +x jdk-6u32-linux-x64.bin

3 ，執(zhí)行 ./jdk-6u32-linux-x64.bin

4 ，配置環(huán)境變量，執(zhí)行 cd /etc 命令后執(zhí)行 vi profile ，在行末尾添加

export JAVA_HOME=/usr/java/jdk1.6.0_32

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar

export PATH=$JAVA_HOME/bin:$PATH

5 ，執(zhí)行 chmod +x profile 將其變成可執(zhí)行文件

6 ，執(zhí)行 source profile 使其配置立即生效

source /etc/profile

7 ，執(zhí)行 java -version 查看是否安裝成功

這個步驟所有機器都必須安裝

[root@hadoop1 bin]# java -version 
java version "1.6.0_32" 
Java(TM) SE Runtime Environment (build 1.6.0_32-b05) 
Java HotSpot(TM) 64-Bit Server VM (build 20.7-b02, mixed mode)

修改主機名

修改主機名，所有節(jié)點均一樣配置

1 ，連接到主節(jié)點 192.168.1.201 ，修改 network ，執(zhí)行 vim /etc/sysconfig/network ，修改 HOSTNAME=hadoop1

2 ，修改 hosts 文件，執(zhí)行 cd /etc 命令后執(zhí)行 vi hosts ，在行末尾添加 :

192.168.1.201 hadoop1

192.168.1.202 hadoop2

192.168.1.203 hadoop3

192.168.1.204 hadoop4

3 ，執(zhí)行 hostname hadoop1

4 ，執(zhí)行 exit 后重新連接可看到主機名以修改 OK

其他節(jié)點也修改主機名后添加 Host, 或者 host 文件可以在后面執(zhí)行 scp 覆蓋操作

配置SSH無密碼登陸

SSH 無密碼原理簡介 :

首先在 hadoop1 上生成一個密鑰對，包括一個公鑰和一個私鑰，并將公鑰復(fù)制到所有的 slave(hadoop2-hadoop4) 上。

然后當(dāng) master 通過 SSH 連接 slave 時， slave 就會生成一個隨機數(shù)并用 master 的公鑰對隨機數(shù)進(jìn)行加密，并發(fā)送給 master 。

最后 master 收到加密數(shù)之后再用私鑰解密，并將解密數(shù)回傳給 slave ， slave 確認(rèn)解密數(shù)無誤之后就允許 master 不輸入密碼進(jìn)行連接了

2 ，具體步驟（在root用戶和hadoop用戶登陸情況下執(zhí)行）

1 、執(zhí)行命令 ssh-keygen -t rsa 之后一路回車，查看剛生成的無密碼鑰對： cd .ssh 后執(zhí)行 ll

2 、把 id_rsa.pub 追加到授權(quán)的 key 里面去。執(zhí)行命令 cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3 、修改權(quán)限：執(zhí)行 chmod 600 ~/.ssh/authorized_keys

4 、確保 cat /etc/ssh/sshd_config 中存在如下內(nèi)容

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

如需修改，則在修改后執(zhí)行重啟 SSH 服務(wù)命令使其生效 :service sshd restart

5 、將公鑰復(fù)制到所有的 slave 機器上 :scp ~/.ssh/id_rsa.pub 192.168.1.203 ： ~/ 然后輸入 yes ，最后輸入 slave 機器的密碼

6 、在 slave 機器上創(chuàng)建 .ssh 文件夾 :mkdir ~/.ssh 然后執(zhí)行 chmod 700 ~/.ssh （若文件夾以存在則不需要創(chuàng)建）

7 、追加到授權(quán)文件 authorized_keys 執(zhí)行命令 :cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 然后執(zhí)行 chmod 600 ~/.ssh/authorized_keys

8 、重復(fù)第 4 步

9 、驗證命令 : 在 master 機器上執(zhí)行 ssh 192.168.1.203 發(fā)現(xiàn)主機名由 hadoop1 變成 hadoop3 即成功，最后刪除 id_rsa.pub 文件 :rm -r id_rsa.pub

按照以上步驟分別配置 hadoop1,hadoop2,hadoop3,hadoop4 ，要求每個都可以無密碼登錄

源碼下載

HADOOP 版本

最新版本 hadoop-2.0.0-alpha 安裝包為 hadoop-2.0.0-alpha.tar.gz

下載官網(wǎng)地址 :http://www.apache.org/dyn/closer.cgi/hadoop/common/

下載到 /home/hadoop/source 目錄下

wget http://ftp.riken.jp/net/apache/hadoop/common/hadoop-2.0.0-alpha/hadoop-2.0.0-alpha.tar.gz

解壓目錄

tar zxvf hadoop-2.0.0-alpha.tar.gz

創(chuàng)建軟連接

cd /home/hadoop

ln -s /home/hadoop/source/hadoop-2.0.0-alpha/ ./hadoop

源碼配置修改

/etc/profile

配置環(huán)境變量： vim /etc/profile

添加

export HADOOP_DEV_HOME=/home/hadoop/hadoop 
export PATH=$PATH:$HADOOP_DEV_HOME/bin 
export PATH=$PATH:$HADOOP_DEV_HOME/sbin 
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} 
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} 
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME} 
export YARN_HOME=${HADOOP_DEV_HOME} 
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 
export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 
export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop

創(chuàng)建并配置hadoop-env.sh

vim /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh  
在末尾添加 export JAVA_HOME=/usr/java/jdk1.6.0_27 
 
 core-site.xml

在 configuration 節(jié)點里面添加屬性

<property> 
<name>hadoop.tmp.dir</name> 
<value>/hadoop/tmp</value> 
<description>A base for other temporary directories.</description> 
</property> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://192.168.1.201:9000</value> 
</property>

添加 httpfs 的選項

<property> 
<name>hadoop.proxyuser.root.hosts</name> 
<value>192.168.1.201</value> 
</property> 
<property> 
<name>hadoop.proxyuser.root.groups</name> 
<value>*</value> 
</property>

slave配置

vim /home/hadoop/hadoop/etc/hadoop/slaves

添加 slave 的 IP

192.168.1.202

192.168.1.203

192.168.1.204

配置hdfs-site.xml

vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

添加節(jié)點

<property> 
<name>dfs.replication</name> 
<value>3</value> 
</property> 
 
<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:/hadoop/hdfs/name</value> 
<final>true</final> 
</property> 
 
<property> 
<name>dfs.federation.nameservice.id</name> 
<value>ns1</value> 
</property> 
 
<property> 
<name>dfs.namenode.backup.address.ns1</name> 
<value>192.168.1.201:50100</value> 
</property> 
 
<property> 
<name>dfs.namenode.backup.http-address.ns1</name> 
<value>192.168.1.201:50105</value> 
</property> 
 
<property> 
<name>dfs.federation.nameservices</name> 
<value>ns1</value> 
</property> 
 
<property> 
<name>dfs.namenode.rpc-address.ns1</name> 
<value>192.168.1.201:9000</value> 
</property> 
<property> 
<name>dfs.namenode.rpc-address.ns2</name> 
<value>192.168.1.201:9000</value> 
</property> 
 
<property> 
<name>dfs.namenode.http-address.ns1</name> 
<value>192.168.1.201:23001</value> 
</property> 
 
<property> 
<name>dfs.namenode.http-address.ns2</name> 
<value>192.168.1.201:13001</value> 
</property> 
 
<property> 
<name>dfs.dataname.data.dir</name> 
<value>file:/hadoop/hdfs/data</value> 
<final>true</final> 
</property> 
 
<property> 
<name>dfs.namenode.secondary.http-address.ns1</name> 
<value>192.168.1.201:23002</value> 
</property> 
 
<property> 
<name>dfs.namenode.secondary.http-address.ns2</name> 
<value>192.168.1.201:23002</value> 
</property> 
 
<property> 
<name>dfs.namenode.secondary.http-address.ns1</name> 
<value>192.168.1.201:23003</value> 
</property> 
 
<property> 
<name>dfs.namenode.secondary.http-address.ns2</name> 
<value>192.168.1.201:23003</value> 
</property>

配置yarn-site.xml

添加節(jié)點

<property> 
<name>yarn.resourcemanager.address</name> 
<value>192.168.1.201:18040</value> 
</property> 
 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>192.168.1.201:18030</value> 
</property> 
 
<property> 
<name>yarn.resourcemanager.webapp.address</name> 
<value>192.168.1.201:18088</value> 
</property> 
 
<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>192.168.1.201:18025</value> 
</property> 
 
<property> 
<name>yarn.resourcemanager.admin.address</name> 
<value>192.168.1.201:18141</value> 
</property> 
 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce.shuffle</value> 
</property>

配置httpfs-site.xml

同步代碼到其他機器

1.同步配置代碼

先在 slaves 的機器上也創(chuàng) 建

mkdir -p /home/hadoop/source

部署hadoop代碼，創(chuàng) 建軟連接，然后只要同步修改過的etc/hadoop下的配置文件即可

2.同步 /etc/profile

3.同步 /etc/hosts

scp -r /etc/profile root@hadoop2:/etc/profile

scp -r /etc/hosts root@hadoop2:/etc/hosts

其他機器以此操作

Hadoop啟動

格式化集群

hadoop namenode -format -clusterid clustername

啟動hdfs

執(zhí)行

start-dfs.sh

開啟 hadoop dfs服務(wù)

啟動Yarn

開啟 yarn 資源管理服務(wù)

start-yarn.sh

啟動httpfs

開啟 httpfs 服務(wù)

httpfs.sh start

使得對外可以提高 http 的restful接口服務(wù)

測試

安裝結(jié)果驗證

驗證hdfs

在各臺機器執(zhí)行 jps 看進(jìn)程是否都已經(jīng)啟動了

[root@hadoop1 hadoop]# jps 
7396 NameNode 
24834 Bootstrap 
7594 SecondaryNameNode 
7681 ResourceManager 
32261 Jps 
 
[root@hadoop2 ~]# jps 
8966 Jps 
31822 DataNode 
31935 NodeManager

進(jìn)程啟動正常

驗證是否可以登陸

hadoop fs -ls hdfs://192.168.1.201:9000/  
hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder  
hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder  
hadoop fs -ls hdfs://192.168.1.201:9000/ testfolder

看以上執(zhí)行是否正常

驗證map/reduce

在 master1 上，創(chuàng)建輸入目錄 :hadoop fs -mkdir hdfs://192.168.1.201:9000/input

將 /usr/hadoop/hadoop-2.0.1-alpha/ 目錄下的所有 txt 文件復(fù)制到 hdfs 分布式文件系統(tǒng)的目錄里，執(zhí)行以下命令

hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input

在 hadoop1 上，執(zhí)行 HADOOP 自帶的例子， wordcount 包，命令如下

cd /usr/hadoop/hadoop-2.0.1-alpha/share/hadoop/mapreduce 
hadoop jar hadoop-mapreduce-examples-2.0.1-alpha.jar wordcount hdfs://192.168.1.201:9000/input hdfs://192.168.1.201:9000/output 
 
hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input

在 hadoop1 上，查看結(jié)果命令如下 :

[root@master1 hadoop]# hadoop fs -ls hdfs://192.168.1.201:9000/output 
Found 2 items 
-rw-r--r--   2 root supergroup          0 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/_SUCCESS 
-rw-r--r--   2 root supergroup       8739 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/part-r-00000 
 
[root@hadoop1 hadoop]# hadoop fs -cat  hdfs://192.168.1.201:9000/output/part-r-00000

即可看到每個單詞的數(shù)量

驗證httpfs

HTTPFS操作：

OPEN,GETFILESTATUS,LISTSTATUS,GETHOMEDIRECTORY,GETCONTENTSUMMARY,GETFILECHECKSUM,GETDELEGATIONTOKEN,GETFILEBLOCKLOCATIONS,INSTRUMENTATION

GETHOMEDIRECTORY 路徑無關(guān)，返回根節(jié)點路徑

http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETHOMEDIRECTORY&user.name=root 
 
Path: "/user/root" 
 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETHOMEDIRECTORY&user.name=root

打開 / 下載一個文件

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=open&user.name=root

LISTSTATUS 現(xiàn)實目錄狀態(tài)

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0?op=LISTSTATUS&user.name=root 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=LISTSTATUS&user.name=root

GETFILESTATUS 顯示文件的狀態(tài)

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root

如果是路徑則現(xiàn)實路徑信息

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/?op=GETFILESTATUS&user.name=root 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILESTATUS&user.name=root

GETCONTENTSUMMARY 獲取路徑下的信息

http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETCONTENTSUMMARY&user.name=root

GETFILECHECKSUM 獲取文件的校驗值

http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILECHECKSUM&user.name=root

以下實現(xiàn) 方法還有錯誤現(xiàn) 在：

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 
 
GETDELEGATIONTOKEN ERROR 
 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETDELEGATIONTOKEN&user.name=root 
 
GETFILEBLOCKLOCATIONS error 
 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEBLOCKLOCATIONS&user.name=root 
 
INSTRUMENTATION error 
 
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=INSTRUMENTATION&user.name=root