有没有办法限制AWS Data Pipeline上的并发执行?我们需要将同时执行限制为1。
类似于Oozie与<concurrency>
财产的相似之处?
来自oozie docs:
并发:此作业可以同时运行的最大操作数。此值允许实现和提交协调器应用程序的多个实例,并允许操作跟踪延迟处理。默认值为1.
答案 0 :(得分:2)
您可以使用EC2Resource / EmrCluster下的maxActiveInstances字段来实现此目的。
参考文献 -
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html