如果hadoop中的节点改变了他们的IP地址会发生什么？

Question

由于网络状况，我的hadoop集群无法正常工作。如果我像其他路由器一样更改整个网络，那么更改IP地址？通过更新一些配置，群集仍然可以工作吗？或者我必须把它拆掉并重建一切？ 提前致谢

Answer 1

一旦将IP地址更改为配置，它就可以工作，为什么不使用DNS？

好的，这不是一个好的答案，让我道歉并给出更好的答案。 如果需要在正在运行的集群上更改配置，则可以停用和调试数据节点。

关闭数据节点不是一个好主意。

数据节点退役

第一步是告诉你要删除一些节点，然后你必须对节点管理器说同样的话。

我不知道您的系统是否已配置为停用，如果您已将密钥User Control加入Style而yarn.resourcemanager.nodes.exclude-path加入yarn-site.xml

hdfs-site.xml

dfs.hosts.exclude

纱-site.xml中

hdfs-site.xml

打开文件<property> <name>dfs.hosts.exclude</name> <value>$YOUR_PATH/dfs.exclude</value> <final>true</final> </property> 并添加您需要停止的节点的主机名/ IP地址。

执行

<property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property> 

检查数据节点是否在停用检查Web界面。

数据节点调度

以与退役相同的方式工作

纱-site.xml中

$YOUR_PATH/dfs.exclude

HDFS-site.xml中

yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes 

打开文件<property> <name>yarn.resourcemanager.nodes.include-path</name> <value>$YOUR_PATH/dfs.include</value> <final>true</final> </property> 并添加您需要添加的节点的主机名/ IP地址。

<property>
  <name>dfs.hosts</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property> 

等一段时间

$YOUR_PATH/dfs.include

现在您添加的主机已列入列表。

如果您的配置缺少上述键，则需要在添加后暂停/重新启动节点管理器和纱线。

使用这些步骤可以安全地暂停数据节点。