Hadoop：reducer的数量不等于我在程序中设置的数量

Question

我已将mapred.tasktracker.reduce.tasks.maximum设置为mapred-site.xml中的10，我还在我的工作中写了jobConf.setNumReduceTasks(5)。

如果我在Shell中运行这项工作，一切都会好的。

但是当我通过eclipse运行相同的工作时，只启动了一个减速器。

我尝试在eclipse中编辑Map / Reduce Locations，并将mapred.reduce.tasks设置为10.但这仍然不起作用。

我可以在eclipse中调整其他任何参数吗？

Answer 1

在eclipse中运行它似乎使用本地作业运行器。它只支持0或1个减速器。如果你试图将它设置为使用多个reducer，它会忽略它并且只使用一个。