如何在hadoop集群中的节点上增加地图输出容量？

Question

我正在使用hadoop集群中的3台计算机，主机有3 GB Ram，从机有3 GB Ram。

奴隶的地图任务容量是6，但我需要更多。

我可以更改此号码吗？机器的哪个属性决定了地图任务容量？

Answer 1

为map和reduce任务运行的JVM提供的内存量 由 mapred.child.java.opts 属性设置。

Answer 2

我猜你是在问你如何让每个工作机器运行超过6个映射器。首先要检查的是集群中mapred.tasktracker.map.tasks.maximum的值。默认为2.如果您有3台计算机，则表示群集中最多有6个映射 - 而不是每个工作程序。无论如何，请将其增加到您喜欢的范围。

但是这不会使Hadoop使用比它认为适合输入更多的映射器。这应该是你应该留给Hadoop的东西。