如何在Hadoop集群中检索YARN中可用的最大容器？

Question

如何在Hadoop集群中从YARN的资源管理器获取总计数，即容器的最大容量。我确实尝试了REST Api和JMX指标只得到总分配容器和待定容器。所以我有什么方法可以检索可以创建的最大容器数吗？

Answer 1

在YARN中，我们有最小分配属性，因此所有容器都具有该值的最小值。因此，基于此，您可以计算可以启动的最大容器数（除以纱线可用的总内存）。我认为这是获得可以启动的最大容器的唯一方法。

因此，在您的程序中，获取这两个属性并进行一些数学运算将获得所需的结果。

要查找的属性是：

    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>8192</value>