成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

分散處理 Hadoop架構服務器角色

運維 服務器運維 大數據 Hadoop
在Hadoop運算集群架構中,先分解任務,分工處理再匯總結果這些服務器依據用途可分成Master節點和Worker節點,Master負責分配任務,而Worker負責執行任務,如負責分派任務的操作,角色就像是Master節點。

在Hadoop運算集群架構中,先分解任務,分工處理再匯總結果這些服務器依據用途可分成Master節點和Worker節點,Master負責分配任務,而Worker負責執行任務,如負責分派任務的操作,角色就像是Master節點。

Hadoop架構服務器角色分工

Hadoop運算集群中的服務器依用途分成Master節點和Worker節點。Master節點中安裝了JobTracker、NameNode、TaskTracker和DataNode程序,但Worker節點只安裝TaskTracker和DataNode。

 

另外在系統的運行架構上,最簡單的Hadoop架構,可以分成上層的MapReduce運算層以及下層的HDFS數據層。

在Master節點的服務器中會執行兩套程序,一個是負責安排MapReduce運算層任務的JobTracker,以及負責管理HDFS數據層的NameNode程序。而在Worker節點的服務器中也有兩套程序,接受JobTracker指揮,負責執行運算層任務的是TaskTracker程序,而與NameNode對應的則是DataNode程序,負責執行數據讀寫動作,以及執行NameNode的副本策略。

在MapReduce運算層上,擔任Master節點的服務器負責分配運算任務, Master節點上的JobTracker程序會將 Map和Reduce程序的執行工作,指派給Worker服務器上的TaskTracker程序,由TaskTracker負責執行Map和Reduce工作,并將運算結果回復給Master節點上的JobTracker。

在HDFS數據層上,NameNode負責管理和維護HDFS的名稱空間、并且控制文件的任何讀寫操作,同時NameNode會將要處理的數據切割成一個個文件區塊(Block),每個區塊是64MB,例如1GB的數據就會切割成16個文件區塊。NameNode還會決定每一份文件區塊要建立幾個副本,一般來說,一個文件區塊總共會復制成3份,并且會分散儲存到3個不同Worker服務器的DataNode程序中管理,只要其中任何一份文件區塊遺失或損壞,NameNode會自動尋找位于其他DataNode上的副本來回復,維持3份的副本策略。

在一套Hadoop集群中,分配MapReduce任務的JobTracker只有1個,而TaskTracker可以有很多個。同樣地,負責管理HDFS文件系統的NameNode也只有一個,和JobTracker同樣位于Master節點中,而DataNode可以有很多個。

不過,Master節點中除了有JobTracker和NameNode以外,也會有TaskTracker和DataNode程序,也就是說Master節點的服務器,也可以在本地端扮演Worker角色的工作。

在部署上,因為Hadoop采用Java開發,所以Master服務器除了安裝操作系統如Linux之外,還要安裝Java運行環境,然后再安裝Master需要的程序,包括了NameNode、JobTracker和DataNode與TaskTracker。而在Worker服務器上,則只需安裝Linux、Java環境、DataNode和TaskTracker。

責任編輯:張玉 來源: eNet硅谷動力
相關推薦

2021-05-12 23:07:16

服務器處理連接

2010-10-20 15:53:37

SQL Server服

2017-10-17 10:12:58

2020-06-22 08:10:27

服務器NUMAMPP

2011-06-30 09:22:32

服務器ARM架構x86架構

2018-05-18 09:43:37

服務器架構大型網站

2014-05-07 14:17:57

服務器服務器處理器ARM架構

2010-09-27 14:09:17

SQL Server服

2010-12-27 14:08:12

2019-12-24 14:42:51

Nginx服務器架構

2019-01-10 11:12:15

Nginx服務器架構

2019-09-10 15:22:17

Nginx服務器架構

2020-05-12 21:17:18

Nginx服務器架構

2012-05-14 11:52:45

服務器角色

2011-07-26 10:27:07

分析器操作系統服務器

2009-01-09 22:45:21

2022-04-28 11:19:13

WebRTC服務器架構

2010-08-31 22:27:11

DHCP服務器

2018-01-23 10:23:53

2024-01-19 11:57:42

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美不卡在线 | 成人免费在线电影 | 国产日韩精品在线 | 一区二区视频 | 免费成人高清在线视频 | 欧美一区二区三区在线观看视频 | 在线播放国产一区二区三区 | 国产福利在线播放麻豆 | www操操 | 国产精品久久久乱弄 | 国产97碰免费视频 | 久久中文一区二区 | 久久久久国产精品一区二区 | 亚洲一区日韩 | 国产日韩欧美在线播放 | 91精品国产综合久久香蕉麻豆 | 午夜精品网站 | 国产精品毛片一区二区在线看 | 羞羞视频免费在线 | 亚洲91精品| 99免费在线视频 | 国产免费视频 | 日韩精品视频在线 | 日韩电影一区 | 九九激情视频 | 亚洲福利 | 久草视频网站 | 黄a在线观看 | 日韩一区二区久久 | 国产精品久久久久久久午夜片 | 国产精品高潮呻吟久久 | 国产精品日本一区二区不卡视频 | 日韩在线免费视频 | 国产精品一区在线 | 亚洲午夜精品一区二区三区他趣 | 国产高清精品一区二区三区 | 麻豆亚洲 | 人人看人人干 | 国产免费视频在线 | 国产一区二区三区视频在线观看 | 亚洲一区 中文字幕 |