可以使用hdfs快照来恢复配置单元

时间:2014-06-18 20:46:51

标签: hadoop hive snapshot

知道hive使用Metastore和hdfs,是否可以将从运行的hadoop-hive集群获取的hdfs快照恢复到新的hadoop-hive集群?

我认为必须采取的一个步骤是在hive中再次创建表,但这些表是否会自动连接到快照文件?

此主题的一个链接位于Apache Mail Archives。我希望是否有更新或更好的答案。

1 个答案:

答案 0 :(得分:3)

Hive适用于2(hdfs中的metadata + warehousedata)

尝试这样:(没有检查,请注意)

1)使用 dstcp 将hive仓库数据从当前的Hadoop-hive群集复制到新的Hadoop-hive群集

$ hadoop distcp hftp://old-custer:50070/user/hive/warehouse hdfs://new-Cluster/user/hive/warehouse

2)假设您的元数据存储在MySQL中(而不是默认德比),请将新配置单元指向旧元数据mysql服务器(在新集群的hive-site.xml中)。通过这种方式,您无需再次创建模式/表。