Hadoop灾难恢复

时间:2013-04-04 02:34:33

标签: hadoop recovery

任何人都可以帮助我了解Hadoop灾难恢复吗?

我应该将数据从群集复制到另一个群集作为备份使用distcp吗? 或者我可以使用copyToLocal将我的数据复制到我的本地机器?

有人想过吗?

1 个答案:

答案 0 :(得分:3)

DRP计划不仅仅涉及技术,而且要求也会极大地影响解决方案。

例如,如果你不能丢失任何你想要主动/主动设置的数据并同时向两个hadoop集群发送数据。在频谱的另一端hadoop的复制(默认是3个副本,但你可以改变它)和机架感知可以在副机架上给你一个副本。在这两者之间,你可以使用你提到的distcp之类的东西来将数据从集群复制到集群。

此外,您可能希望关注project falcon这是hadoop数据生命周期管理的新举措