备份Hadoop以便安装新的集群，最佳实践

Question

我正在构建一个新的Hadoop集群（扩展节点数量和扩展当前节点的容量），并且需要备份所有现有数据。现在我只是将所有内容都发送到另一台服务器。

是否有更聪明的方法可以让我在设置新群集后轻松部署？

编辑：我还应该指出，我不会在群集上存储任何数据。我将数据带到集群，处理它，然后将处理后的数据发送回原始服务器。群集上的任何临时数据都将被删除。

Answer 1

使用 Distcp 将HDFS数据传输到其他群集或任何云以便存储数据。 如果您想安排备份过程，您可以使用 OOZIE-DISTCP 进行备份！