如何从DFS中删除hadoop节点但不从Mapred中删除？

Question

我对hadoop相当新鲜。为了运行一些基准测试，我需要各种hadoop配置进行比较。

我想知道从DFS中移除hadoop slave的方法（不再运行datanode守护程序），而不是Mapred（继续运行tasktracker），反之亦然。 AFAIK，有一个用于此类hadoop节点的单个从属文件，而不是用于DFS和Mapred的单独从属文件。

目前，我正在尝试在从属节点上启动DFS和Mapred，然后在从属节点上杀死datanode。但是，将该节点放入“死节点”需要一段时间。在HDFS GUI上。可以调整任何参数以使此超时更快？

Thankssss

Answer 1

尝试在mapred-site.xml中的hdfs-site.xml，dfs.hosts and dfs.hosts.exclude中使用mapred.hosts and mapred.hosts.exclude。这些用于允许/排除主机连接到NameNode和JobTracker。

一旦适当更新了文件中的节点列表，就必须分别使用hadoop dfsadmin -refreshNodes和hadoop mradmin -refreshNodes命令刷新NameNode和JobTracker。

Answer 2

如果节点很少，则可以在每台计算机上仅启动必需的守护程序，而不是使用slaves文件来启动集群上的所有进程。