为什么我在YARN中看到20个节点但在火花中看到30个工作者？

Question

我开了30台AWS机器。

当我在主节点的ip 8088检查YARN UI时，我点击“节点”，我可以看到以下内容：

• 在“Active Nodes”下我看到20
• 在“Lost Nodes”下我看到0。

我导航到端口18080的火花大师我可以看到pyspark告诉我Alive Workers: 30。在页面开头。

我重新启动了主节点和从属服务器上的所有服务，但仍然发生了同样的事情。

我如何让YARN识别所有节点？

Answer 1

在namenode上按下面的命令检查你的datanode，

sudo yarn node -list -all

如果您无法找到所有30个节点，请在您的错误数据节点上执行以下命令，

sudo service hadoop-yarn-nodemanager start

并在您的namenode上执行以下命令，

sudo service hadoop-yarn-resourcemanager restart

或者，检查姓名中的/etc/hadoop/conf/slaves，

并检查以下所有节点/etc/hadoop/conf/yarn-site.xml中的设置

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>your namenode name</value>
</property>

或者，写下你的所有节点＆＃39;所有节点中的名称和ipadress＆＃39; /etc/hosts 例如，

127.0.0.1 localhost.localdomain localhost
192.168.1.10 test1
192.168.1.20 test2

你必须做命令，

/etc/rc.d/init.d/network reload