Hadoop建议使用map / reduce任务的素数?

时间:2012-02-14 18:08:12

标签: configuration hadoop mapreduce

我在模板配置文件中看到了这些:

<property>
    <name>mapred.map.tasks</name>
    <value>2</value>
    <description>The default number of map tasks per job.  Typically set
    to a prime several times greater than number of available hosts.
    Ignored when mapred.job.tracker is "local".  
    </description>
</property>

...

<property>
    <name>mapred.reduce.tasks</name>
    <value>1</value>
    <description>The default number of reduce tasks per job.  Typically set
    to a prime close to the number of available hosts.  Ignored when
    mapred.job.tracker is "local".
    </description>
</property>

我无法找到任何其他参考资料,无论是在线还是在Hadoop O'Reilly的书中,至于为什么这些应该是 prime 。有人有什么想法吗?

感谢。

1 个答案:

答案 0 :(得分:2)

HADOOP-5519;这已不在配置文件中,因为没有(或很少)原因。

我至少在两个版本中都没有看过它,JIRA说几年前它已经解决了。