如何在hadoop Job类中设置Map任务的数量

Question

我有一个问题，通过Java将映射器的数量设置为1。我正在使用Job和配置类。我知道我们可以使用旧的弃用API通过mapred.map.tasks设置缩减器的数量。

有没有办法指定使用Job和配置类。我尝试使用FileInputFormat.setMinInputSplitSize(FullFilesize)

增加输入文件分割大小

但是，我想知道我们是否有新的API中的mapred.map.tasks或者你如何通过其他方式指定

Answer 1

给定作业的地图任务数由输入拆分数驱动，而不是由mapred.map.tasks参数驱动

参考以下堆栈流量问题 Setting the number of map tasks and reduce tasks