如何安全删除Hadoop datanode进行维护?

时间:2015-06-02 13:08:21

标签: hadoop hdfs

我想暂时从Hadoop集群中取出一台机器。

大多数文档说通过将其添加到yarn和dfs .exclude文件中来取消它。我不想将它添加到dfs.exclude和yarn.exclude文件中并使用hdfs dfsadmin -refreshNodes停用它,因为我想将其取出,对机器进行一些更改,然后将其重新联机尽快地。我不想复制数百GB的数据,以避免重复不足的块!

相反,我希望能够确保快速关闭机器电源:

  • 整个群集仍在运作。
  • 日记管理员或节点管理员进程没有丢失任何数据。
  • 当流程终止时,没有纱线作业失败或转到AWOL。

我最好的猜测是如何做到这一点:发布:

./hadoop-daemon.sh --hosts hostname stop datanode
./hadoop-daemon.sh --hosts hostname stop journalnode
./yarn-daemon.sh --hosts hostname stop nodemanager

然后在机器重新联机时再次单独启动每个进程。

这样安全吗?有没有更有效的方法来做到这一点?

0 个答案:

没有答案