Amazon EMR:仅在先前作业完成后才开始新的计划作业

时间:2020-06-29 13:32:19

标签: amazon-web-services amazon-emr

我有一个AWS EMR群集作业,该作业每2小时运行一次。我已经使用cloudWatch作业设置了一个计划,使其每两个小时运行一次。

但是有时下一个作业(距上一个作业2小时后运行)会在上一个作业未完成时开始,因为根据要处理的数据有时可能需要2个小时以上才能完成。

我需要一些配置,如果先前的作业正在运行,我可以通过该配置阻止下一个作业开始。 我尝试过,但是找不到任何设置。谁能知道该怎么做?

1 个答案:

答案 0 :(得分:0)

将其添加为EMR步骤。默认情况下,EMR步骤按顺序运行(除非您更改并发设置)

相关问题