aws emr添加步骤限制；我可以并行运行步骤吗？

Question

我有许多SQOOP作业，我想通过EMR添加步骤启动。 我现有的内部部署方法是并行运行它们，直到用完YARN资源为止。

我注意到，当我为单个SQOOP作业创建一堆添加步骤时，它们本质上是顺序的。 问题：有没有办法让我并行运行添加步骤？ （限制：我无权访问主节点来直接启动应用程序。）

我确定我在这里错过了一些琐碎的事情；因为听起来很大的局限性在于使用add-step在EMR中无法进行并行处理。

..法力值

PS：我可以将它们作为多线程运行，但是我不会获得针对YARN启动的不同应用程序的日志。

Answer 1

使用EMR 5.28.0，可以同时运行多达256个步骤。 EMR Add up to 256 steps

还可以添加超过256个步骤。 Add more than 256 steps

fyi-在编写此响应时，似乎在使用Step函数时每秒添加10个步骤是有限制的。我的理解是，EMR本身没有任何限制，并且假设集群有足够的资源可以接受，那么它应该可以向它添加尽可能多的步骤。