HDFS可以复制到其他群集吗?

时间:2015-05-26 20:43:10

标签: hadoop hdfs replication

HDFS正在复制到同一群集中的事实3。这很好,但有没有办法设置HDFS,以便它也可以复制到不同的群集/服务器?假设1个复制到同一个集群,另一个复制到远处另一个HDFS集群中。

如果HDFS不支持此功能,Hadoop周围是否有任何工具允许我们这样做?你们如何复制其他服务器?

1 个答案:

答案 0 :(得分:4)

目前,没有任何机制可以满足您的要求。已经为HBase实现了跨群集复制,但没有为HDFS实现。 HDFS中存在plan to support交叉数据中心复制,但尚未实现。

您可以使用distcp机制定期将数据复制到另一个群集。这将在每个群集上放置3个副本(这通常是您想要的交叉直流/群集复制)。但请注意,由于必须定期完成,因此它并不完全取代实时复制。如果您在副本之间丢失了一个群集,那么无论将哪些数据写入" primary"群集将在群集恢复之前丢失。

相关问题