在取消状态下重新运行AWS Data Pipeline作业

时间:2018-11-12 18:37:12

标签: amazon-web-services amazon-s3 aws-data-pipeline

我已经配置了一个数据管道作业,该作业每天晚上2点触发。作业从S3读取前一天创建的所有文件,并进行一些处理。我使用数据管道作业的ScheduledStartTime来确定我必须处理S3中的哪些文件。

但是,有时这项工作失败了(可以说是由于达到ec2限制或其他问题)。现在我的问题是几天后我发现了这一点。我转到控制台,此作业处于“取消”状态。可以重新运行。

重新运行会占用过去一天还是我重新运行之日的ScheduledStartTime?

现在,我有一个随需应变的工作,在该工作可能落到的那一天,我必须对S3路径进行硬编码并进行处理。

在使用失败作业的chedchedStartTime的地方,是否有更好的方法可以重新运行过去的数据管道作业?

0 个答案:

没有答案