Hello-samza - 任务保持在接受状态

时间:2016-08-26 14:36:28

标签: yarn apache-samza

我正在尝试从master分支启动hello-samza示例。 我运行每个命令都没有错误,启动run-job.sh没有错误,但是YARN中的工作永远处于ACCEPTED状态。

我看过http://localhost:8088/cluster/nodes并且没有显示任何内容 - 这是问题吗? YARN没有连接节点,因此无法分配资源来完成提交的作业?

yarn node -list

还会显示Total Nodes:0

为什么这样,如果我只是按照说明进行操作?

2 个答案:

答案 0 :(得分:0)

  

YARN没有连接节点,因此无法分配资源来完成提交的作业?

是的,这份工作已经排队,等待资源启动。

查看NodeManager的日志以找出无法连接到ResourceManager的原因可能很有用。

答案 1 :(得分:0)

我有同样的问题,但我弄清楚出了什么问题。也许在你的情况下,它是不同的问题,但值得检查它(也可能有助于其他人)。 根据{{​​3}}的建议,我建议查看Yarn Node Manager日志 - 对于他们应该在的hello samza项目:

hello-samza/deploy/yarn/logs/yarn-*nodemanger-*.log

在我的情况下(可能在你的情况下)我看到ERORR说(之前还有WARN告诉我磁盘空间超过90%):

1/1 local-dirs are bad: *; 
1/1 log-dirs are bad: *  

它们很糟糕,因为节点上的可用磁盘空间超过了yarn的max-disk-utilization-per-disk-percentage默认值90.0%。 要么清理磁盘,要么增加yarn-site.xml中的阈值(就像我做的那样):

<property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>97</value>
</property>