什么是纱线的AM限制?

时间:2018-03-20 22:32:13

标签: hadoop yarn

在纱线大数据集群中运行工作的情况下,我听过AM限制这几个词。

这里也提到了: https://issues.apache.org/jira/browse/YARN-6428

这是什么意思?

1 个答案:

答案 0 :(得分:3)

这是一个保证您不会锁定群集的设置。 Map-Reduce作业有一个AM,可以生成映射器和缩减器。如果您的队列只有AM任务,那么您就无法运行任何映射器或缩减器,这意味着您的AM都不会完成,也无法完成任何有意义的工作。你处于实时锁定状态。

Capacity Scheduler和Fair Scheduler都可以限制AM可以保留的任务百分比。在Capacity Scheduler中查找yarn.scheduler.capacity.maximum-am-resource-percent。在Fair Scheduler中查找maxAMShare