我在AWS中只需要4个映射器和2个减速器，但这不会发生吗？

Question

你如何确定 只有4个地图和2个减少 因为当我使用1个大型实例时 它有时会给我6个地图2减少 随机没有。 我试着把mapred.map.tasks = 4 在设置工作时的额外args中 那也没有用

Answer 1

尝试使用引导操作设置映射器和缩减器的数量。

     elastic-mapreduce --create \
     --name "cluster_name" \
     --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args -m,mapred.map.tasks=4,-m,mapred.reduce.tasks=2,-m,mapred.tasktracker.map.tasks.maximum=4,-m,mapred.tasktracker.reduce.tasks.maximum=2