我已经配置了一个数据管道作业,该作业每天晚上2点触发。作业从S3读取前一天创建的所有文件,并进行一些处理。我使用数据管道作业的ScheduledStartTime来确定我必须处理S3中的哪些文件。
但是,有时这项工作失败了(可以说是由于达到ec2限制或其他问题)。现在我的问题是几天后我发现了这一点。我转到控制台,此作业处于“取消”状态。可以重新运行。
重新运行会占用过去一天还是我重新运行之日的ScheduledStartTime?
现在,我有一个随需应变的工作,在该工作可能落到的那一天,我必须对S3路径进行硬编码并进行处理。
在使用失败作业的chedchedStartTime的地方,是否有更好的方法可以重新运行过去的数据管道作业?