标签: hadoop hive mapreduce yarn cloudera
Map-reduce作业会生成多个映射器,并在Yarn中运行。如何批量运行那些映射器。假设MR作业产生了100张地图,那么一次只能运行10张地图,以及如何配置完成后的10张地图,以便在完成前一组地图之后就可以使用。 当前,所有映射器都并行运行。
答案 0 :(得分:0)
如果您使用的是Hadoop 2.7或更高版本,则可以使用 mapreduce.job.running.map.limit 属性以限制同时运行的映射器的数量
mapreduce.job.running.map.limit