Hadoop Streaming-设置每个节点的最大映射数

Question

是否可以设置每个节点运行的地图任务的数量 我正在使用Hadoop Streaming来抓取数据，每个节点只需要一个map任务来避免阻塞。

谢谢，

Answer 1

无论是否流式传输，都可以使用mapreduce.tasktracker.map.tasks.maximum参数设置每个节点的最大映射器数。必须在节点上的mapred-site.xml文件中设置该参数，在客户端上设置此属性时无效。

Answer 2

您是否尝试过在job.xml中使用以下设置？

mapred.max.maps.per.node=1
mapred.max.reduces.per.node=1

这些默认为-1，无限制（当然，除了可用的插槽）。