标签: apache-spark amazon-emr amazon-data-pipeline
我正在尝试使用AWS Data PipeLine设置在EMR集群中运行spark作业的流程。我们的流程按“按需”计划运行。
作为此活动的一部分,我们在管道的开头创建一个EMR集群,然后我们希望在emr集群上并行运行多个spark作业。
我们是否可以使用“按需”计划在数据管道上运行并行作业。