分离Hadoop Map和Reduce任务

Question

在3节点hadoop集群中。我想主人是1节点。映射任务发生在一个节点中并减少1个节点中的任务。应该分离Map和reduce任务。可能吗？据我所知，两者一起跑。如果你可以解决一些问题，那就太好了。谢谢！

-Sethu

Answer 1

这是除了最佳之外的所有内容，因为地图输出必须始终复制到另一台服务器。
但您可以在服务器上修改mapred-site.xml。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>

<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

在没有运行reducer的服务器上，你将reduce.task.maximum放入零。反之亦然，其他服务器。