无法在Hortonworks中为我的Map / Reduce作业分配多个CPU

Question

我正在5节点集群上运行HDP 2.4.2版本。 每当我在集群上启动任何作业时，他们只需要在配置的CPU上使用一个CPU。

我配置了4个CPU，但我的工作只占用一个CPU。

我的群集中有五个24核128 MB Ubuntu盒。

如果这是HDP的限制，请告诉我，因为它与cloudera一起正常工作

修改

<property>
 <name>yarn.scheduler.maximum-allocation-vcores</name>
<value>15</value>
</property>
<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
<value>15</value>
</property>

Answer 1

以下是此问题的解决方案

默认情况下，必须在群集上启用CPU调度才能将其设置为禁用。在群集上启用CPU调度后，它开始向我的作业提供所请求的CPU。

yarn.scheduler.capacity.resource-calculator是属性Name。在纱线配置中搜索并启用它。此属性的默认值为DefaultResourceCalculator，一旦启用CPU调度，将由DominantResourceCalculator覆盖。

参考链接：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_yarn-resource-management/content/enabling_cpu_scheduling.html