任何人都可以帮助我了解Hadoop灾难恢复吗?
我应该将数据从群集复制到另一个群集作为备份使用distcp吗? 或者我可以使用copyToLocal将我的数据复制到我的本地机器?
有人想过吗?
答案 0 :(得分:3)
DRP计划不仅仅涉及技术,而且要求也会极大地影响解决方案。
例如,如果你不能丢失任何你想要主动/主动设置的数据并同时向两个hadoop集群发送数据。在频谱的另一端hadoop的复制(默认是3个副本,但你可以改变它)和机架感知可以在副机架上给你一个副本。在这两者之间,你可以使用你提到的distcp之类的东西来将数据从集群复制到集群。此外,您可能希望关注project falcon这是hadoop数据生命周期管理的新举措