成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hadoop YARN配置參數剖析(1)—RM與NM相關參數

開發 前端 Hadoop
注意,配置這些參數前,應充分理解這幾個參數的含義,以防止誤配給集群帶來的隱患。另外,這些參數均需要在yarn-site.xml中配置。

注意,配置這些參數前,應充分理解這幾個參數的含義,以防止誤配給集群帶來的隱患。另外,這些參數均需要在yarn-site.xml中配置。

1.    ResourceManager相關配置參數

(1) yarn.resourcemanager.address

參數解釋:ResourceManager 對客戶端暴露的地址。客戶端通過該地址向RM提交應用程序,殺死應用程序等。

默認值:${yarn.resourcemanager.hostname}:8032

(2) yarn.resourcemanager.scheduler.address

參數解釋:ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster通過該地址向RM申請資源、釋放資源等。

默認值:${yarn.resourcemanager.hostname}:8030

(3) yarn.resourcemanager.resource-tracker.address

參數解釋:ResourceManager 對NodeManager暴露的地址.。NodeManager通過該地址向RM匯報心跳,領取任務等。

默認值:${yarn.resourcemanager.hostname}:8031

(4) yarn.resourcemanager.admin.address

參數解釋:ResourceManager 對管理員暴露的訪問地址。管理員通過該地址向RM發送管理命令等。

默認值:${yarn.resourcemanager.hostname}:8033

(5) yarn.resourcemanager.webapp.address

參數解釋:ResourceManager對外web ui地址。用戶可通過該地址在瀏覽器中查看集群各類信息。

默認值:${yarn.resourcemanager.hostname}:8088

(6) yarn.resourcemanager.scheduler.class

參數解釋:啟用的資源調度器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

默認值:

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

(7) yarn.resourcemanager.resource-tracker.client.thread-count

參數解釋:處理來自NodeManagerRPC請求的Handler數目

默認值:50

(8) yarn.resourcemanager.scheduler.client.thread-count

參數解釋:處理來自ApplicationMasterRPC請求的Handler數目

默認值:50

(9) yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb

參數解釋:單個可申請的最小/***內存資源量。比如設置為1024和3072,則運行MapRedce作業時,每個Task最少可申請1024MB內存,最多可申請3072MB內存。

默認值:1024/8192

(10) yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores

參數解釋:單個可申請的最小/***虛擬CPU個數。比如設置為1和4,則運行MapRedce作業時,每個Task最少可申請1個虛擬CPU,最多可申請4個虛擬CPU。什么是虛擬CPU,可閱讀我的這篇文章:“YARN 資源調度器剖析”。

默認值:1/32

(11) yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path

參數解釋:NodeManager黑白名單。如果發現若干個NodeManager存在問題,比如故障率很高,任務運行失敗率高,則可以將之加入黑名單中。注意,這兩個配置參數可以動態生效。(調用一個refresh命令即可)

默認值:“”

(12) yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

參數解釋:NodeManager心跳間隔

默認值:1000(毫秒)

2. NodeManager相關配置參數

(1) yarn.nodemanager.resource.memory-mb

參數解釋:NodeManager總的可用物理內存。注意,該參數是不可修改的,一旦設置,整個運行過程中不 可動態修改。另外,該參數的默認值是8192MB,即使你的機器內存不夠8192MB,YARN也會按照這些內存來使用(傻不傻?),因此,這個值通過一 定要配置。不過,Apache已經正在嘗試將該參數做成可動態修改的。

默認值:8192

(2) yarn.nodemanager.vmem-pmem-ratio

參數解釋:每使用1MB物理內存,最多可用的虛擬內存數。

默認值:2.1

(3) yarn.nodemanager.resource.cpu-vcores

參數解釋:NodeManager總的可用虛擬CPU個數

默認值:8

(4) yarn.nodemanager.local-dirs

參數解釋:中間結果存放位置,類似于1.0中的mapred.local.dir。注意,這個參數通常會配置多個目錄,已分攤磁盤IO負載。

默認值:${hadoop.tmp.dir}/nm-local-dir

(5) yarn.nodemanager.log-dirs

參數解釋:日志存放地址(可配置多個目錄)。

默認值:${yarn.log.dir}/userlogs

(6) yarn.nodemanager.log.retain-seconds

參數解釋:NodeManager上日志最多存放時間(不啟用日志聚集功能時有效)。

默認值:10800(3小時)

(7) yarn.nodemanager.aux-services

參數解釋:NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運行MapReduce程序

默認值:“”

原文鏈接:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/

責任編輯:陳四芳 來源: dongxicheng.org
相關推薦

2014-01-07 15:23:15

HadoopYARN

2014-01-07 17:18:51

HadoopYARN

2014-01-07 16:34:36

HadoopYARN

2014-01-07 15:17:08

YARN配置

2010-04-26 19:15:10

Oracle參數文件

2011-02-23 10:21:18

ProFTPd參數

2009-09-23 17:16:59

報表參數

2010-02-25 13:40:17

WCF禁用安全配置

2010-01-27 13:38:29

C++ Sum函數

2021-11-29 12:11:09

npm包管理器工具

2010-01-04 14:54:08

ADO參數

2009-12-25 16:51:37

ADO參數

2014-02-14 15:30:18

HadoopYARN

2010-01-12 11:47:09

VB.NET可選參數

2010-11-29 13:33:00

sybase配置參數

2010-09-25 13:31:00

TomcatJVM

2025-05-27 01:20:00

向量數據庫HNSWANN索引算法

2010-01-06 15:16:58

Ubuntu啟動流程

2010-02-25 13:54:48

WCF安全參數

2010-03-29 16:31:48

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日本精品裸体写真集在线观看 | 亚洲综合在线网 | 日本 欧美 三级 高清 视频 | 国产精品高清一区二区三区 | 国产激情一区二区三区 | 亚洲网址 | 中文字幕一区在线 | 亚洲精品成人免费 | 蜜月aⅴ国产精品 | 国产日韩一区 | 成人精品 | 一区二区三区国产精品 | 九九久久在线看 | 亚洲精品黑人 | 国产精品国产精品 | 国产精品福利在线观看 | 日韩中文字幕一区二区三区 | 久久国产日韩欧美 | av一区在线观看 | 激情欧美日韩一区二区 | 中文字幕精品视频在线观看 | 国产男女视频 | 亚洲国产激情 | 99精品一级欧美片免费播放 | 免费在线色 | 国产91av视频在线观看 | 国产成人精品免费视频大全最热 | 国产一区二区三区四区三区四 | 欧美日韩国产在线观看 | 亚洲有码转帖 | 噜啊噜在线 | 久久久久久国产 | 日韩中字幕 | 久久国产精品视频 | 91精品一区二区三区久久久久久 | 久久综合一区二区 | 一区二区三区不卡视频 | 亚洲免费人成在线视频观看 | 亚欧精品一区 | 日韩一区二区三区视频在线播放 | 在线播放中文字幕 |