我正在尝试从master分支启动hello-samza示例。 我运行每个命令都没有错误,启动run-job.sh没有错误,但是YARN中的工作永远处于ACCEPTED状态。
我看过http://localhost:8088/cluster/nodes并且没有显示任何内容 - 这是问题吗? YARN没有连接节点,因此无法分配资源来完成提交的作业?
yarn node -list
还会显示Total Nodes:0
为什么这样,如果我只是按照说明进行操作?
答案 0 :(得分:0)
YARN没有连接节点,因此无法分配资源来完成提交的作业?
是的,这份工作已经排队,等待资源启动。
查看NodeManager的日志以找出无法连接到ResourceManager的原因可能很有用。
答案 1 :(得分:0)
我有同样的问题,但我弄清楚出了什么问题。也许在你的情况下,它是不同的问题,但值得检查它(也可能有助于其他人)。 根据{{3}}的建议,我建议查看Yarn Node Manager日志 - 对于他们应该在的hello samza项目:
hello-samza/deploy/yarn/logs/yarn-*nodemanger-*.log
在我的情况下(可能在你的情况下)我看到ERORR说(之前还有WARN告诉我磁盘空间超过90%):
1/1 local-dirs are bad: *;
1/1 log-dirs are bad: *
它们很糟糕,因为节点上的可用磁盘空间超过了yarn的max-disk-utilization-per-disk-percentage默认值90.0%。 要么清理磁盘,要么增加yarn-site.xml中的阈值(就像我做的那样):
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>97</value>
</property>