如何通过AWS Data Pipe line在AWS EMR集群中运行多个并行spark项目

时间:2017-09-22 05:26:02

标签: apache-spark amazon-emr amazon-data-pipeline

我正在尝试使用AWS Data PipeLine设置在EMR集群中运行spark作业的流程。我们的流程按“按需”计划运行。

作为此活动的一部分,我们在管道的开头创建一个EMR集群,然后我们希望在emr集群上并行运行多个spark作业。

我们是否可以使用“按需”计划在数据管道上运行并行作业。

0 个答案:

没有答案