从一个群集迁移到另一个群集

时间:2018-02-12 04:33:49

标签: hadoop hive emr amazon-emr

我有一个源代码emr集群,其中hive Metorore作为外部mysql(emr版本3.1) 我们计划将群集升级到5.11.1。

有没有人知道如何使用远程mysql Metastore将hive和hdfs从一个集群迁移到另一个集群?

1 个答案:

答案 0 :(得分:0)

您的所有数据都不应持续存在于HDFS上。将所有重要文件复制到S3。

HIve为所有版本提供Metastore升级脚本。

使用schematool下的/usr/lib/hive/bin命令执行升级迁移。

https://cwiki.apache.org/confluence/display/Hive/Hive+Schema+Tool