在AWS EMR中强制使用一个减速器

Question

如何确保我的EMR Streaming作业只有减速器？当我创建新的Jobflow时，有没有办法从Web前端执行此操作？

Answer 1

您可以使用--arg标志在引导操作中配置Hadoop。特别是对于您的问题，您可以将mapred.tasktracker.reduce.tasks.maximum设置为1.

elastic-mapreduce --create --alive \
      --name "Configure Jobflow" \
      --bootstrap-actions s3://elasticmapreduce/bootstrap-actions/configure-hadoop
      --arg mapred.tasktracker.reduce.tasks.maximum=2