如何知道纱线组中可用的减速器槽容量的数量

时间:2014-07-01 03:10:54

标签: hadoop hive apache-pig yarn

我正在从Hadoop 1.0迁移到YARN启用集群。在1.0中运行adhoc作业时,我们曾根据Job跟踪器中报告的可用性指定reducer的数量,以加快处理速度。现在在YARN'所有应用程序'网页链接我们没有看到任何有关可用性的列/信息。是否有任何配置文件或在网络链接中我们可以获得此信息?

1 个答案:

答案 0 :(得分:1)

Yarn中没有其他插槽。

相反,取决于使用的内存量/ demande。您可以配置yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores来控制任务。

有关配置文件示例的更多信息,请访问: http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml