成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop0.20.0部署與測試中的單機和偽分布模式操作方法簡介

開發 架構 Hadoop
Hadoop經過長期的發展,已經更新了多個版本,這里向大家介紹一下Hadoop0.20.0部署與測試方面的內容,歡迎大家一起來學習,相信本文的介紹一定會讓你收獲不少。

本節向大家介紹一下Hadoop0.20.0部署與測試方面的內容,本節主要包括單機模式和偽分布模式操縱方法介紹等內容,希望通過本節的介紹大家能夠掌握Hadoop0.20.0部署與測試方法。下面是具體介紹。

1.單機模式Local(Standalone)Mode

默認情況下,Hadoop被配置成以非分Java布式模式運行的一個獨立進程。這對調試非常有幫助。
經過上述配置,就可以運行單機模式了。具體操作請查看手冊

2.偽分布式模式的操作方法

Hadoop0.20.0部署中Hadoop可以在單節點上以所謂的偽分布式模式運行,此時每一個Hadoop守護進程都作為一個獨立的Java進程運行。
0.20版本較之前版本比配置文件有較大改動,由原來全部配置在hadoop-site.xml改為分別配置在以下三個文件中:
conf/core-site.xml,conf/hdfs-site.xml,conf/mapred-site.xml

具體配置查看手冊
以conf/core-site.xml為例:
 

  1. <configuration> 
  2. <property> 
  3. <name>fs.default.name</name> 
  4. <value>hdfs://localhost:9000</value> 
  5. </property> 
  6. </configuration> 

如果出現連接錯誤,可以嘗試將了localhost替換為本機IP或127.0.0.1

Hadoop0.20.0部署中免密碼ssh設置
現在確認能否不輸入口令就用ssh登錄localhost:
$sshlocalhost
如果不輸入口令就無法用ssh登陸localhost,執行下面的命令:
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

執行
格式化一個新的分布式文件系統:
$bin/hadoopnamenode-format

啟動Hadoop守護進程:
$bin/start-all.sh

Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).
瀏覽NameNode和JobTracker的網絡接口,它們的地址默認為:
*NameNode-http://localhost:50070/
*JobTracker-http://localhost:50030/
到這步為止,必須要先訪問上面的NameNode網絡接口,當頁面能正常顯示HDFS的狀態時,才能正常進行下面的步驟。

1.點擊Browsethefilesystem,***次進入可能會返回一個404錯誤頁面。
2.返回上一頁,刷新頁面,這時候應該會出現下圖所示畫面,這就表明DFS已經正常工作(即DFSUsed等數值不再顯示為0)。
3.如果不行就反復操作1,2步驟,直至成功。

將輸入文件拷貝到分布式文件系統:$bin/hadoopfs-putconfinput
運行發行版提供的示例程序:$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'

查看輸出文件:
將輸出文件從分布式文件系統拷貝到本地文件系統查看:
$bin/hadoopfs-getoutputoutput
$catoutput/*
$bin/hadoopfs-getoutputoutput
$catoutput/*
或者
在分布式文件系統上查看輸出文件:
 

  1. $bin/hadoopfs-catoutput/*  
  2. $bin/hadoopfs-catoutput/*  
  3. 3dfs.class  
  4. 2dfs.period  
  5. 1dfs.file  
  6. 1dfs.replication  
  7. 1dfs.servers  
  8. 1dfsadmin  
  9. 1dfsmetrics.log  
  10. 3 dfs.class  
  11. 2 dfs.period  
  12. 1 dfs.file  
  13. 1 dfs.replication  
  14. 1 dfs.servers  
  15. 1 dfsadmin  
  16. 1 dfsmetrics.log  

完成全部操作后,停止守護進程:$bin/stop-all.sh

Hadoop0.20.0部署與測試中的命令(Command)總結

這部分內容其實可以通過命令的Help以及介紹了解,我主要側重于介紹一下我用的比較多的幾個命令。Hadoopdfs這個命令后面加參數就是對于HDFS的操作,和Linux操作系統的命令很類似,例如:
Hadoopdfs–ls就是查看/usr/root目錄下的內容,默認如果不填路徑這就是當前用戶路徑;
Hadoopdfs–rmrxxx就是刪除目錄,如果多次執行,則每次執行前可以用此命令刪除已存在的文件夾內容;
Hadoopdfsadmin–report這個命令可以全局的查看DataNode的情況;
Hadoopjob后面增加參數是對于當前運行的Job的操作,例如list,kill等;
Hadoopbalancer就是前面提到的均衡磁盤負載的命令。本節關于Hadoop0.20.0部署與測試相關內容介紹到這里。

【編輯推薦】

  1. 學習筆記 Hadoop0.20.0部署與測試
  2. Hadoop0.20.2集群配置入門指導手冊
  3. Hadoop文件系統如何快速安裝?
  4. Hadoop集群搭建過程中相關環境配置詳解
  5. Hadoop完全分布模式安裝實現詳解
責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-07 16:34:07

Hadoop0.20.

2010-06-07 11:12:52

Hadoop-0.20

2010-06-04 15:44:06

Hadoop偽分布

2010-06-07 15:21:00

hadoop-0.20

2013-05-27 14:13:51

Hadoop 2.0.

2010-06-04 18:29:02

Hadoop單機模式

2017-10-25 18:25:40

Hadoop偽分布式環境部署

2010-01-11 10:34:41

VB.NET圖像操作

2011-07-20 15:08:22

C++

2010-02-24 08:11:59

Windows 7企業部署

2010-01-27 18:00:57

Android開機自啟

2014-07-17 14:09:31

Spark

2022-07-14 10:37:15

Jenkins持續集成

2009-09-11 08:12:36

Windows 7企業部署網絡部署

2013-06-13 10:39:54

Hadoop2.0.4

2014-09-04 09:35:17

2009-09-18 08:40:56

Windows 7企業部署VHD

2010-09-30 10:41:29

2009-11-25 14:53:58

VS2003部署項目

2020-06-30 08:06:45

kvm部署測試
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美大片黄 | 精品一区二区久久久久久久网精 | 久久精品国产亚洲夜色av网站 | 日韩中文字幕在线视频 | 亚洲小视频 | 美女露尿口视频 | 呦呦在线视频 | 国产乱码精品一品二品 | 一级毛片视频 | 粉嫩一区二区三区四区公司1 | 亚洲国产欧美一区 | 久久精品亚洲精品国产欧美 | 二区三区视频 | 中文字幕亚洲欧美日韩在线不卡 | 国产色在线 | 久久精品国产99国产 | 欧美天堂一区 | 久久这里有精品 | 精品久久久久久 | 99久久久国产精品 | 激情的网站 | 免费黄色片视频 | 天天干天天爽 | 亚洲一区在线播放 | 成人一区二区三区 | 亚洲综合一区二区三区 | 亚洲国产精品一区二区三区 | 8x国产精品视频一区二区 | 欧美一级电影免费观看 | 婷婷色网 | 国产精品久久久久影院色老大 | 草草视频在线播放 | 一级黄色生活视频 | 午夜视频免费在线观看 | 天天躁日日躁xxxxaaaa | av一区二区三区四区 | 亚洲成网| 另类a v| 麻豆久久久9性大片 | 国产欧美精品一区二区 | 成人一级视频在线观看 |