如何同时运行EMR群集步骤？

Question

嗨，我有一个EMR集群。每当我向它提交“步骤”时，它会按顺序运行它们。有没有办法同时运行“步骤”？

或者，如果您想要并发，是否可以同时启动多个集群？

Answer 1

每个步骤在群集中同时处理。因此，如果您有可以同时完成的工作，您可以考虑在同一步骤中完成所有工作（每个步骤可以有一个或多个Hadoop作业）。

通常，如果要确保在执行下一步之前完成下一步所需的所有处理，则可以使用步骤。这方面的一个很好的例子可能是您处理加密数据，在哪里可能有一步来解密数据，一步处理数据，另外一步是在持久性之前重新加密数据。

Answer 2

EMR自2019年11月起支持并行运行步骤：https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-now-allows-you-to-run-multiple-steps-in-parallel-cancel-running-steps-and-integrate-with-aws-step-functions/。根据本文档，您必须使用EMR 5.28.0或更高版本。