我有一个AWS EMR群集作业,该作业每2小时运行一次。我已经使用cloudWatch作业设置了一个计划,使其每两个小时运行一次。
但是有时下一个作业(距上一个作业2小时后运行)会在上一个作业未完成时开始,因为根据要处理的数据有时可能需要2个小时以上才能完成。
我需要一些配置,如果先前的作业正在运行,我可以通过该配置阻止下一个作业开始。 我尝试过,但是找不到任何设置。谁能知道该怎么做?
答案 0 :(得分:0)
将其添加为EMR步骤。默认情况下,EMR步骤按顺序运行(除非您更改并发设置)