如何配置MR作业中的地图以批量执行?

时间:2018-08-30 19:47:27

标签: hadoop hive mapreduce yarn cloudera

Map-reduce作业会生成多个映射器,并在Yarn中运行。如何批量运行那些映射器。假设MR作业产生了100张地图,那么一次只能运行10张地图,以及如何配置完成后的10张地图,以便在完成前一组地图之后就可以使用。 当前,所有映射器都并行运行。

1 个答案:

答案 0 :(得分:0)

如果您使用的是Hadoop 2.7或更高版本,则可以使用 mapreduce.job.running.map.limit 属性以限制同时运行的映射器的数量