如何在Hadoop中基于群集大小设置reduce任务

Question

我想将减少任务数量设置为完全等于一个作业中可用的减少广告位数。

默认情况下，reduce任务计算为可用减少位数的~1.75倍（在Elastic Mapreduce上）。我注意到我的工作完成了非常均匀的减少任务，因此最好在工作中每减少一个减少插槽。

但如何从我的工作配置中识别群集指标？

Answer 1

您可以使用ClusterMetrics类来获取有关Map-Reduce群集当前状态的状态信息，例如群集大小，列入黑名单和退役的跟踪器数量，群集的插槽容量，数量目前占用/保留地图＆amp;减少插槽等。