大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解

作者：憶往事_隨風(fēng) 2022-10-14 15:44:03

系統(tǒng) OpenHarmony

本篇使用大數(shù)據(jù) Hadoop 2.7.2環(huán)境搭建,希望能夠幫助到你！

??想了解更多關(guān)于開源的內(nèi)容，請訪問：??

??51CTO 開源基礎(chǔ)軟件社區(qū)??

??https://ost.51cto.com??

一、虛擬機環(huán)境準備

1、虛擬機網(wǎng)絡(luò)模式設(shè)置為 NAT

點擊 “編輯虛擬機設(shè)置”。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

點擊 “網(wǎng)絡(luò)適配器” → “NAT模式” 即可。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

2、克隆虛擬機

右鍵需要克隆的虛擬機 → 管理 → 克隆。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

選擇“虛擬機中的當(dāng)前狀態(tài)”，點擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

選擇“創(chuàng)建完整克隆”，點擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

更改虛擬機名稱以及位置，點擊下一步。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

創(chuàng)建完成后關(guān)閉即可。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、修改虛擬機為靜態(tài) IP

查看虛擬網(wǎng)卡信息。

輸入 ifconfig ，看到可以正常使用的網(wǎng)卡以及相關(guān)信息。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

可以看到我們這里的網(wǎng)卡是 ens33。

查看網(wǎng)關(guān)。

在 VMware 中的虛擬網(wǎng)絡(luò)編輯器中可以看到。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改網(wǎng)卡配置。

輸入以下命令，即可編寫網(wǎng)卡配置。

vim /etc/sysconfig/network-scripts/ifcfg-網(wǎng)卡名

我這里的網(wǎng)卡名是 ens33，則命令如下：

vim /etc/sysconfig/network-scripts/ifcfg-ens33

把有的部分注釋掉，沒有的部分在最后加上。

# 要配制的部分
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.182.128  #IP地址
NETMASK=255.255.255.0  #子網(wǎng)掩碼
NETWORK=192.168.0.0

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改網(wǎng)關(guān)配置。

輸入以下命令，編寫網(wǎng)關(guān)配置。

vim /etc/sysconfig/network

編寫以下內(nèi)容。

NETWORKING=yes
GATEWAY=192.168.182.2  #網(wǎng)關(guān)

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 DNS 配置。

輸入以下內(nèi)容，編寫 DNS 配置。

vim /etc/resolv.conf

編寫以下內(nèi)容。

search localdomain
nameserver 8.8.8.8
nameserver 192.168.182.2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟網(wǎng)絡(luò)服務(wù)。

service network restart

4、修改主機名

查看本機主機名

查看本機主機名使用 hostname 即可。

hostname

修改主機名（CentOS 7）。

使用下面的命令修改主機名。

hostnamectl set-hostname 主機名

示例：

hostnamectl set-hostname node1

修改主機名（通用，CentOS7 與非 CentOS7）。

NETWORKING=yes
NETWORKING_IPV6=no
GATEWAY=192.168.182.2  #網(wǎng)關(guān)
HOSTNAME=node1  #主機名

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 CentOS 的 hosts。

使用下面的命令編輯 hosts。

vim /etc/hosts

在每個虛擬機的 hosts 文件后面增加自己所安裝的虛擬機的 IP 地址以及主機名。

192.168.182.133 master
192.168.182.128 node1
192.168.182.129 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將 hosts 文件拷貝到 node1 和 node2 節(jié)點命令：

scp /etc/hosts node1:/etc/hosts  # 拷貝到 node1
scp /etc/hosts node2:/etc/hosts  # 拷貝到 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

修改 Windows 的 hosts。

進入 C:\Windows\System32\drivers\etc 路徑。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 hosts 文件，填寫如下內(nèi)容：

192.168.182.133 master
192.168.182.128 node1
192.168.182.129 node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

保存文件，如果不行的話可以先移出來，再移回去。

5、關(guān)閉防火墻

查看防火墻狀態(tài)。

systemctl status firewalld.service

綠的running表示防火墻開啟。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

關(guān)閉防火墻。

systemctl stop firewalld.service

或：

service iptables stop

開機禁用防火墻自啟。

systemctl disable firewalld.service

或：

chkconfig iptables off

啟動防火墻。

systemctl start firewalld.service

防火墻隨系統(tǒng)開啟啟動。

systemctl enable firewalld.service

6、設(shè)置 ssh 免密??碼登錄（只在 Master 這臺主機操作）

生成密鑰并拷貝到子節(jié)點。

主節(jié)點執(zhí)行命令 ssh-keygen -t rsa 產(chǎn)生密鑰，一直回車執(zhí)行命令。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將密鑰拷貝到其他兩個子節(jié)點，命令如下：

ssh-copy-id -i node1
ssh-copy-id -i node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

實現(xiàn)主節(jié)點 master 本地免密??碼登錄。

首先進入到 /root 命令：

cd /root

在進入到 ./.ssh 目錄下：

cd ./.ssh/

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

將公鑰寫入本地執(zhí)行命令：

cat ./id_rsa.pub>> ./authorized_keys

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

二、用戶及文件權(quán)限配置

1、創(chuàng)建用戶

adduser atguigu  #添加用戶
passwd atguigu  #修改密??碼

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

2、配置用戶具有 root 權(quán)限

輸入以下命令進行配置：

vi /etc/sudoers

配置 atguigu 用戶的信息：

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
atguigu ALL=(ALL)       ALL

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、在 /opt 目錄下創(chuàng)建文件夾

在 /opt 目錄下創(chuàng)建 module、software 文件夾。

mkdir module  # 創(chuàng)建 module 文件夾
mkdir software  # 創(chuàng)建 software 文件夾

修改 module、software 文件夾的所有者 cd。

chown atguigu:atguigu module
chown atguigu:atguigu software

查看文件歸屬。

ls -al

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

三、JDK 安裝

1、卸載現(xiàn)有 jdk

查詢是否安裝 Java。

rpm -qa|grep java

如果安裝的版本低于 1.7，則卸載該 jdk。

sudo rpm -e 軟件包

2、將 jdk、Hadoop 導(dǎo)入到 opt 目錄的 software 文件夾下

導(dǎo)入 jdk 安裝包。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

導(dǎo)入 Hadoop 安裝包。

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

3、查看軟件包是否導(dǎo)入成功

cd software/

ls

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

4、解壓 jdk 到 /opt/module 目錄下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5、配置 jdk 環(huán)境變量

獲取 jdk 路徑。

進入 jdk 的解壓路徑，輸入以下命令即可查看 jdk 路徑：

pwd

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 /etc/profile 文件：

輸入以下命令打開 profile 文件。

sudo vi /etc/profile

輸入以下命令配置 Java 環(huán)境變量。

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

保存退出。

配置 jdk 環(huán)境生效。

source  /etc/profile

測試 jdk 是否安裝成功。

java -version

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟（如果 java -version 可以用就不用重啟）。

sync
sudo reboot

四、Hadoop 安裝（master 主機）

1、進入 Hadoop 安裝包路徑下

cd /opt/software/

2、解壓安裝文件到 /opt/module 目錄下

tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

3、查看是否解壓成功

ls /opt/module/

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

4、將 Hadoop 添加到環(huán)境變量下

獲取 Hadoop 安裝路徑。

進入 Hadoop 路徑，輸入以下命令查看 Hadoop 安裝路徑。

pwd

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

打開 /etc/profile 文件。

使用 vim 打開 profile 文件。

sudo vi /etc/profile

編輯 Hadoop 環(huán)境。

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存退出。

Hadoop 環(huán)境生效。

source /etc/profile

測試 Hadoop 是否安裝成功。

hadoop version

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

重啟（如果 hadoop version 可以用就不用重啟）。

sync
sudo reboot

5、修改 Hadoop 相關(guān)配置文件

(1) 修改 Hadoop 的 slaves 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 slaves 文件。

使用 vim 編輯 slaves 文件。

vim slaves

刪除原來的內(nèi)容，修改為如下內(nèi)容。

node1
node2

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(2) 修改 Hadoop 的 hadoop-env.sh 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 hadoop-env.sh 文件。

添加 JAVA_HOME 路徑：

export JAVA_HOME=/opt/module/jdk1.8.0_144

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(3) 修改 Hadoop 的 core-site.xml 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 core-site.xml 文件。

<configuration>
        <property>
                <name>fs.defaultFS</name>
              <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/tmp</value>
        </property>
        <property>
                <name>fs.trash.interval</name>
                <value>1440</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(4) 修改 Hadoop 的 hdfs-site.xml 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 hdfs-site.xml 文件。

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(5) 修改 Hadoop 的 yarn-site.xml 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

修改該目錄下的 yarn-site.xml 文件。

<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(6) 修改 Hadoop 的 mapred-site.xml 文件

進入 /opt/module/hadoop-2.7.2/etc/hadoop 目錄。

cd /opt/module/hadoop-2.7.2/etc/hadoop

復(fù)制 mapred-site.xml.template 為 mapred-site.xml。

cp mapred-site.xml.template mapred-site.xml

修改該目錄下的 mapred-site.xml 文件。

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

(7) 復(fù)制 Hadoop 的安裝目錄到其它子節(jié)點

scp -r /opt/module/hadoop-2.7.2 node1:/opt/module/hadoop-2.7.2
scp -r /opt/module/hadoop-2.7.2 node2:/opt/module/hadoop-2.7.2

6、驗證（啟動 Hadoop）

首先看下 hadoop-2.7.2 目錄下有沒有 tmp 文件夾。如果沒有執(zhí)行一次格式化命令：

cd /opt/module/hadoop-2.7.2  #進入 hadoop 安裝目錄
./bin/hdfs namenode -format  # 格式化命令

執(zhí)行完格式化命令會生成 tmp 文件。

啟動 Hadoop。

輸入以下命令啟動 Hadoop。

cd /opt/module/hadoop-2.7.2  #進入 hadoop 安裝目錄
./sbin/start-all.sh  #啟動程序

驗證主節(jié)點進程。

輸入以下命令查看進程：

jps  #顯示所有 java 進程 pid

主節(jié)點進程：

ResourceManager
NameNode
SecondaryNameNode

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

子節(jié)點進程

DataNode
NodeManager

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

④ 驗證 HDFS：

瀏覽器登錄地址：192.168.182.133:50070（ip 地址是 master 節(jié)點的地址）。

出現(xiàn)以下界面則證明 HDFS 安裝成功：

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

剛搭建完成，什么都沒有。

PS：

如果第一次啟動失敗了，請重新檢查配置文件或者哪里步驟少了。再次重啟的時候需要手動將每個節(jié)點的 tmp 目錄刪除：

rm -rf /opt/module/hadoop-2.7.2/tmp

然后在<font color=“red”>主節(jié)點</font>執(zhí)行以下命令格式化 namenode。

./bin/hdfs namenode -format

#打卡不停更# 大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解-開源基礎(chǔ)軟件社區(qū)

文章相關(guān)附件可以點擊下面的原文鏈接前往下載：

https://ost.51cto.com/resource/2334。

??想了解更多關(guān)于開源的內(nèi)容，請訪問：??

??51CTO 開源基礎(chǔ)軟件社區(qū)??

??https://ost.51cto.com??。

責(zé)任編輯：jianghua

大數(shù)據(jù)Hadoop

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

大數(shù)據(jù) Hadoop 環(huán)境搭建圖文詳解

一、虛擬機環(huán)境準備

1、虛擬機網(wǎng)絡(luò)模式設(shè)置為 NAT

2、克隆虛擬機

3、修改虛擬機為靜態(tài) IP

4、修改主機名

5、關(guān)閉防火墻

6、設(shè)置 ssh 免密??碼登錄（只在 Master 這臺主機操作）

二、用戶及文件權(quán)限配置

1、創(chuàng)建用戶

2、配置用戶具有 root 權(quán)限

3、在 /opt 目錄下創(chuàng)建文件夾

三、JDK 安裝

1、卸載現(xiàn)有 jdk

2、將 jdk、Hadoop 導(dǎo)入到 opt 目錄的 software 文件夾下

3、查看軟件包是否導(dǎo)入成功

4、解壓 jdk 到 /opt/module 目錄下

5、配置 jdk 環(huán)境變量

四、Hadoop 安裝（master 主機）

1、進入 Hadoop 安裝包路徑下

2、解壓安裝文件到 /opt/module 目錄下

3、查看是否解壓成功

4、將 Hadoop 添加到環(huán)境變量下

5、修改 Hadoop 相關(guān)配置文件

(1) 修改 Hadoop 的 slaves 文件

(2) 修改 Hadoop 的 hadoop-env.sh 文件

(3) 修改 Hadoop 的 core-site.xml 文件

(4) 修改 Hadoop 的 hdfs-site.xml 文件

(5) 修改 Hadoop 的 yarn-site.xml 文件

(6) 修改 Hadoop 的 mapred-site.xml 文件

(7) 復(fù)制 Hadoop 的安裝目錄到其它子節(jié)點

6、驗證（啟動 Hadoop）