Hadoop 2.0的兩種RPC
Hadoop 2.0中存在兩個ipc包, 分別在hadoop-common和hadoop-yarncommon項目下. 分別為hadoop RPC和新的YarnRPC.
1. 使用hadoop ipc包的協議
原有的協議
|
協議名 |
客戶端 |
服務端 |
主要方法 |
|
ClientProtocol |
Client |
Namenode |
|
|
DatanodeProtocol |
DN |
NN |
|
|
NamenodeProtocol |
SNN |
NN |
|
|
RefreshAuthorizationPolicyProtocol |
Client |
NN |
|
|
RefreshUserMappingsProtocol |
Client |
NN |
|
|
GetUserMappingsProtocol |
Client |
NN |
|
|
TaskUmbilicalProtocol |
YarnChild(運行task的containner) |
AM |
狀態更新, 獲取map結束事件等 |
2. 使用YarnRPC的協議
這些都是用在yarn上的協議, 并且都是0.23開始新增的協議.
|
協議名 |
客戶端 |
服務端 |
主要方法 |
|
ClientRMProtocol |
Client |
RM |
提交,查詢,kill AM等 |
|
AMRMProtocol |
AM |
RM |
注冊, 結束AM, 請求資源 |
|
ContainerManager |
AM |
NM |
啟動, 停止, 查詢 container |
|
RMAdminProtocol |
Client |
RM |
刷新node, queu, acl等 |
|
HSClientProtocol |
Client |
HistoryServer |
繼承于MRClientProtocol |
|
MRClientProtocol |
Client |
AM |
獲取job/task信息, kill job/task等 |
下圖顯示了yarn中各個進程使用的協議.
3. 為什么要新增YarnRPC呢
事實上, YarnRPC只是封裝了hadoop-common的ipc, 最終還是使用了hadoop-common的ipc包, 包括server和client, 所以底層的網絡通信方法是一樣的.
新增的協議都使用了YarnRPC包,
至于底層使用何種序列化方式, 可以通過配置決定:
yarnRPC的底層序列化方式: yarn. ipc. serializer.type 默認為protocolbuffers
hadoop-common RPC的序列化方式: rpc.engine.( protocol.getName()) 默認為WritableRpcEngine
原文鏈接：http://www.cnblogs.com/shenh062326/archive/2012/12/16/YRRN_RPC.html
