自建集群要遷移到EMR集群，往往需要遷移已有數據。本文主要介紹hdfs數據和hive meta數據如何遷移。

[[219271]]

前置

已按需求創建好EMR集群。

遷移hdfs數據

主要依靠distcp,核心是打通網絡，確定hdfs參數和要遷移內容，測速，遷移。

網絡

需要自建集群和EMR各個節點網絡互通。同為VPC網絡只需要同一個安全組，不同的安全組需要設置安全組互通。

如果自建集群是經典網絡，EMR集群是vpc，網絡訪問需要設置CLASSICLINK.參見文檔,詳情可以咨詢ECS客服。

設置后可以在新集群節點上ssh 老集群節點確定網絡連通情況，distcp操作如果有xx 節點無法連接xx節點的異常，說明沒有連通，需要繼續設置。

hdfs權限配置確認

hdfs有權限設置，確定老集群是否有acl規則，是否要同步，檢查dfs.permissions.enabled 和dfs.namenode.acls.enabled的配置新老集群是否一致，按照實際需要修改。

如果有acl規則要同步，distcp參數要加-p同步權限參數。如果distcp操作提示xx集群不支持acl，說明對應集群沒配置。新集群沒配置可以修改配置并重啟NM。舊集群不支持，說明舊集群根本就沒有acl方面的設置，也不需要同步。

同步參數

一般在新集群上運行同步，這樣同步的作業可以在新集群上運行，對老集群影響較小。

distcp參數細節，一般命令格式如下：

hadoop distcp -Ddfs.replication=3 -pbugpcax -m 1000 -bandwidth 30 hdfs://oldclusterip:8020 /user/hive/warehouse /user/hive/ 

注意事項：

hdfs://oldclusterip:8020寫老集群nameode ip，多個namenode寫當前active的。

指定了副本數3，如想保留原有副本數-p后加r如-prbugpcax。如果不同步權限和acl，-p后去掉p和a。

-m指定map數，和集群規模，數據量有關。比如集群有2000核cpu，就可以指定2000個map。 -bandwidth指定單個map的同步速度，是靠控制副本復制速度實現的，是大概值。

1. 遷移整體速度受集群間帶寬，集群規模影響。同時文件越多，checksum需要的時間越長。如果遷移數據量大，可以先試著同步幾個目錄評估一下整體時間。如果只能在指定時間段內同步，可以將目錄切為幾個小目錄，依次同步。
2. 如果遷移過程中老集群還有寫入，可以用-udpate再將變化同步過來。
3. 一般完全同步，需要有個短暫的業務停寫，以啟用雙寫雙算或直接將業務切換到新集群上。

hive meta數據同步

hive meta數據同步，本質是hive meta db，一般是mysql db的數據同步。和一般的mysql數據同步相比，要注意location改變，和hive版本對齊。

meta db設置

meta數據較多時，一般推薦用rds作為meta db。自建集群可能已有一個rds db，由于location不同，一般需要新建一個數據庫。***實踐是跟EMR集群在一個可用區，一個vpc 安全組下新建一個rds 數據庫。

登錄新集群master節點(如果是ha集群兩個master都需要)，修改/usr/local/emr/emr-agent/run/meta_db_info.json，把里面的use_local_meta_db設置為false，meta數據庫信息的鏈接地址、用戶名和密碼換成新建rds的信息。然后重啟hive組件的metaserver。

初始化meta的表信息：

···  
cd /usr/lib/hive-current/bin  
./schematool - initSchema -dbType mysql  
··· 

location

hive的表，分區等信息是有location信息的，帶dfs nameservices前綴，如hdfs://mycluster:8020/，而EMR集群的nameservices前綴是統一的emr-cluster,所以需要訂正。訂正的***方式是先導出數據mysqldump --databases hivemeta --single-transaction -u root –p > hive_databases.sql,用sed替換hdfs://oldcluster:8020/為hdfs://emr-cluster/ ,再導入新db中。

mysql hivemeta -p < hive_databases.sql 

版本對齊

EMR的hive版本一般是當前社區***的穩定版，自建集群hive版本可能會更老，所以導入的舊版本數據可能不能直接使用。需要執行hive的升級腳本，地址。例如hive從1.2升級到2.3.0，需要依次執行upgrade-1.2.0-to-2.0.0.mysql.sql，upgrade-2.0.0-to-2.1.0.mysql.sql，upgrade-2.1.0-to-2.2.0.mysql.sql，upgrade-2.2.0-to-2.3.0.mysql.sql。腳本主要是建表，加字段，改內容，如有表已存在，字段已存在的異常可以忽略。

驗證

meta數據全部訂正后，就可以重啟metaserver了。命令行hive，查詢庫和表，查詢數據，驗證正確性。