我们的系统有一个由5个主机组成的集群（例如，数据节点或计算机从属设备......）。现在，我想分配不同数量的这些主机的reducer，因为1个主机很慢。 。我们正在使用Hadoop Yarn。资源管理器（MapReduce1中称为Job tracker）始终为5个主机分配均匀数量的reducer。无论如何我可以限制特定主机的减速器数量吗？例如，我想要的是具有40个减速器的工作，4个快速计算机具有36个减速器（例如，每个主机减少9个），慢速计算机仅具有4个减速器。
答案 0 :(得分：1)
在hadoop集群中拥有异构系统是完全可能的并且是一种普遍现象。通常，随着群集不断变大并因此水平扩展，不同配置的新节点将添加到群集中。
在这种情况下，为了使配置适用于特定节点或一组节点，我们需要在这些主机上相应地修改配置。
例如，对于通过Ambari管理集群的Hortonworks数据平台，可以利用主机配置组的概念来实现此目的。
请参阅以下链接以获取更多信息：
另请参阅以下链接，其中讨论的内容是增加节点级别的YARN容器数量。在你的情况下它也是一样的，这与那里讨论的用例相反：
How to increase the number of containers in nodemanager in YARN
另一个有用的链接：
http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/