HDFS可以复制到其他群集吗？

Question

HDFS正在复制到同一群集中的事实3。这很好，但有没有办法设置HDFS，以便它也可以复制到不同的群集/服务器？假设1个复制到同一个集群，另一个复制到远处另一个HDFS集群中。

如果HDFS不支持此功能，Hadoop周围是否有任何工具允许我们这样做？你们如何复制其他服务器？

Answer 1

目前，没有任何机制可以满足您的要求。已经为HBase实现了跨群集复制，但没有为HDFS实现。 HDFS中存在plan to support交叉数据中心复制，但尚未实现。

您可以使用distcp机制定期将数据复制到另一个群集。这将在每个群集上放置3个副本（这通常是您想要的交叉直流/群集复制）。但请注意，由于必须定期完成，因此它并不完全取代实时复制。如果您在副本之间丢失了一个群集，那么无论将哪些数据写入＆＃34; primary＆＃34;群集将在群集恢复之前丢失。