在纱线中并行运行多个hadoop作业

Question

当我尝试在EMR集群中运行多个hadoop作业时，它们都是一个接一个地运行（我可以使用yarn application -list查看进度）。

1. 有没有办法并行运行所有这些hadoop作业？
2. 通过一个步骤传递多个hadoop作业可以解决这个问题吗？如果是，如何在一个步骤内传递多个作业？

Answer 1

如果将HadoopActivity与FAIR调度程序或容量调度程序一起使用，则可以并行运行多个步骤。

https://aws.amazon.com/about-aws/whats-new/2015/06/run-parallel-hadoop-jobs-on-your-amazon-emr-cluster-using-aws-data-pipeline/