我想暂时从Hadoop集群中取出一台机器。
大多数文档说通过将其添加到yarn和dfs .exclude文件中来取消它。我不想将它添加到dfs.exclude和yarn.exclude文件中并使用hdfs dfsadmin -refreshNodes
停用它,因为我想将其取出,对机器进行一些更改,然后将其重新联机尽快地。我不想复制数百GB的数据,以避免重复不足的块!
相反,我希望能够确保快速关闭机器电源:
我最好的猜测是如何做到这一点:发布:
./hadoop-daemon.sh --hosts hostname stop datanode
./hadoop-daemon.sh --hosts hostname stop journalnode
./yarn-daemon.sh --hosts hostname stop nodemanager
然后在机器重新联机时再次单独启动每个进程。
这样安全吗?有没有更有效的方法来做到这一点?