调整正在运行的EMR集群的大小会加快现有正在运行的作业的执行速度

Question

我正在运行一个包含25个节点的EMR集群，并且一个作业持续运行15-20分钟。我意识到还需要30-40分钟，所以我在集群中增加了10个任务节点。但我没有看到任何改善。

添加这些额外的任务节点会增加当前作业中的并发映射器执行，还是额外的节点将仅用于调整大小后启动的作业？

Answer 1

这取决于MapReduce作业的结构。如果有待处理的任务，则将使用其他节点。如果作业根据群集的原始大小确定其任务数，则在新作业提交之前，其他节点不会产生影响。