在AWS上顺序激活2个或更多数据管道的最佳方法是什么？

Question

我有两个不同的管道（A和B）。当A终止时，我想立即启动第二个（B）。

到目前为止，要完成这项工作，我已使用以下命令添加了ShellCommandActivity：

aws datapipeline activate-pipeline --pipeline-id <my pipeline id>

还有其他更好的方法吗？

Answer 1

您可以使用指标文件（零字节文件）和组合。 Lambda松散地耦合两个数据管道。您需要进行以下更改 -

数据管道 - 使用shell命令触摸零字节文件作为任何给定s3路径中数据管道的最后一步

创建一个lambda函数来监视指标文件并激活Data Pipeline2

注意 - 如果您正在查看仅按顺序执行两个数据管道的简单方案，这可能不是很有用。但是，当您想在管道之间创建复杂的依赖关系时，它会很有用。您有一组Staging作业（每个作业对应一个管道），并且您希望在完成所有分段作业后触发Data-mart作业或派生表作业。