成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

專家指導 如何實現Hadoop集群搭建

開發 架構 Hadoop
關于Hadoop集群的概念相信大家應該有所了解,這里就向大家介紹一下Hadoop集群搭建的具體步驟,相信通過本文的介紹大家對Hadoop集群搭建有跟深刻的了解。

本節繼續向大家介紹Hadoop集群搭建的步驟,希望通過本節的介紹你對如何進行Hadoop集群搭建有一定的認識,歡迎大家一起來學習Hadoop集群搭建搭建方面的知識。

一、建立Master到每一臺Slave的SSH受信證書

1、偽分布式免密碼ssh設置
?現在確認能否不輸入口令就用ssh登錄localhost:
$sshlocalhost

如果不輸入口令就無法用ssh登陸localhost,執行下面的命令:
$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

?安裝ssh,并生成公鑰和私鑰
?運行ssh-keygen-trsa,根據屏幕提示直接選擇“回車”
?會在用戶目錄~/.ssh/產生兩個文件,id_rsa,id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

2、Hadoop集群搭建的SSH設置
master:
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重復)
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重復)
[fan@fan001~]$cd.ssh
[fan@fan001.ssh]$cpid_rsa.pubauthorized_keys
[fan@fan001.ssh]$chmod600authorized_keys

slave:
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[fan@fan002.ssh]$catid_rsa.pub>>authorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
OK,完成免密碼ssh設置

二、啟動Hadoop

1、偽分布式的啟動:
格式化一個新的分布式文件系統:$bin/hadoopnamenode-format
啟動Hadoop守護進程:$bin/start-all.sh
Hadoop守護進程的日志寫入到${HADOOP_LOG_DIR}目錄(默認是${HADOOP_HOME}/logs).

2、啟動Hadoop
Hadoop集群搭建過程中啟動Hadoop集群需要啟動HDFS集群和Map/Reduce集群。
Ø格式化一個新的分布式文件系統:$bin/hadoopnamenode-format
Ø在分配的NameNode上,運行下面的命令啟動HDFS:$bin/start-dfs.sh
bin/start-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動DataNode守護進程。
Ø在分配的JobTracker上,運行下面的命令啟動Map/Reduce:$bin/start-mapred.sh
bin/start-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動TaskTracker守護進程。

3.停止Hadoop
Ø在分配的NameNode上,執行下面的命令停止HDFS:$bin/stop-dfs.sh
bin/stop-dfs.sh腳本會參照NameNode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止DataNode守護進程。
Ø在分配的JobTracker上,運行下面的命令停止Map/Reduce:$bin/stop-mapred.sh
bin/stop-mapred.sh腳本會參照JobTracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止TaskTracker守護進程。本節關于Hadoop集群搭建的相關內容介紹完畢。

【編輯推薦】

  1. Hadoop集群搭建過程中相關環境配置詳解
  2. 技術分享 Hadoop集群搭建方法
  3. 專家講解 Hadoop:HBASE松散數據存儲設計
  4. 兩種模式運行Hadoop分布式并行程序
  5. 專家提醒 部署Hadoop時應該注意具體事項
責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-03 14:42:47

Hadoop分布式集群

2010-05-26 16:17:46

2010-06-04 17:34:13

Hadoop0.20.

2011-12-07 16:11:50

Hadoop集群搭建

2016-10-27 09:37:10

Hadoop集群配置

2010-06-04 18:17:50

Hadoop集群

2010-07-12 11:36:32

UML活動圖

2010-06-04 16:17:02

2010-05-20 19:01:03

Eclipse使用SV

2010-07-01 12:21:35

UML類圖關系

2010-09-27 10:54:53

JVM參數配置

2010-07-07 13:54:00

UML用例圖

2010-06-02 09:45:02

SVN學習筆記

2010-07-13 13:15:17

Perl

2010-07-15 09:10:08

Perl函數手冊

2015-05-27 10:29:41

DockerHadoopHadoop集群

2014-03-17 10:05:45

Hadoop集群

2021-04-19 08:52:58

Hadoop集群搭建Python

2010-06-08 15:44:18

UML建模工具

2010-05-19 17:26:58

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 免费久| 久久精品在线播放 | 一区二区三区中文字幕 | 欧美精品一区二区三区在线播放 | 日韩高清三区 | 一级全黄少妇性色生活免费看 | 久久中文免费视频 | 91精品在线看 | 国产乱码精品1区2区3区 | h片在线观看网站 | 久久精品国产a三级三级三级 | 天天天久久久 | 91久久精品国产 | 91视频官网 | 二区在线视频 | 欧美日韩福利视频 | 久久99精品久久久久久国产越南 | 一二区电影| 午夜影院 | 精品乱人伦一区二区三区 | 色偷偷888欧美精品久久久 | 日韩欧美字幕 | 做a的各种视频 | 精品久久九 | 国产偷久久一级精品60部 | 久久久久国产 | 精品免费| www.97国产| av手机在线免费观看 | 特级毛片爽www免费版 | 欧美视频在线播放 | 国产一区二区三区免费 | 成人精品鲁一区一区二区 | 欧美四虎| 日本特黄特色aaa大片免费 | 国外成人在线视频 | 免费激情av | 成人午夜精品 | 久久综合香蕉 | 日韩精品一区二区三区中文在线 | 国产精品永久免费视频 |