纱线群集不会同等地管理vcores,超出队列资源限制

时间:2017-01-12 08:06:19

标签: scala apache-spark yarn jobs

我有3个纱线节点管理员在纱线集群中工作,并且每个纱线节点都有与vcores avalibity相关的问题。

例如,我有:

在第一个节点上:可用15个vcores, 在第二个节点上:非vcores avalible, 在第三个节点上:可用37个vcores。

现在,工作尝试启动并因错误而失败:

“超出队列的AM资源限制”

这是否与第二个节点上可用的非vcores连接,或者我可能以某种方式增加队列中的资源限制?

我还想提一下,我有以下设置:

yarn.scheduler.capacity.maximum-AM-资源百分比= 1.0

1 个答案:

答案 0 :(得分:4)

这意味着,您的驱动程序已超过Max Application Master Resources中配置的最大内存。您可以增加AM的最大内存或减少作业中的驱动程序内存。