如何重新启动AWS Data Pipeline

时间:2016-07-23 21:00:05

标签: amazon-web-services amazon-data-pipeline

我有一个预定的 AWS数据管道,它在执行过程中失败了。我修复了问题而没有以任何方式修改管道(在S3中更改了脚本)。但是,从一开始就没有好办法重新启动Pipeline。

我尝试了停用/重新激活管道,但之前的“已完成”节点未重新启动。这是预期的;根据{{​​3}},这只是暂停和取消暂停管道的执行,这不是我们想要的。

我尝试单独重新运行其中一个节点(称之为x),但它不尊重依赖性:没有节点x依赖于reran,节点依赖于{{ 1}}。

我尝试过去一次激活它,但收到错误:x

我宁愿不改变startTimestamp should be later than any Schedule StartDateTime in the pipeline (Service: DataPipeline; Status Code: 400; Error Code: InvalidRequestException; Request ID: <SANITIZED>)节点,因为我希望Pipeline继续尊重它;我只需要这一个手动执行。如何从一开始就重新启动Pipeline?

2 个答案:

答案 0 :(得分:2)

到目前为止,我发现完成此操作的最佳方法是克隆管道,按需(而不是计划)并激活 。这个新的Pipeline将立即激活并运行。然而,这似乎很麻烦;我很高兴听到更好的方式。

答案 1 :(得分:1)

ActivatePipeline API具有startTimestamp参数,您可以使用该参数从任何先前的时间间隔重新开始执行。请参阅http://docs.aws.amazon.com/datapipeline/latest/APIReference/API_ActivatePipeline.html