如何在aws数据管道下运行子树

时间:2016-05-30 09:59:42

标签: amazon-web-services amazon-data-pipeline

是否可以在aws数据管道下运行整个依赖关系树的子部分。至于我能理解的是,没有办法做到这一点。

要么必须重新运行整个管道,要么只重新运行一些单独的sql活动。随着sql活动的数量开始增加,这变得很难。 ..

1 个答案:

答案 0 :(得分:0)

我不确定你的用例是什么,但我认为这个技巧可以帮助你。

您需要在没有交叉点的树集中分解图形。那些连接不同树节点的边缘应该用关节节点替换。例如,如果您的图表是:

A1 -> A2 -> B1 -> B2

这是两棵树A和B.这张图应该转换成图表:

A1 -> A2 -> J1 -> B1 -> B2

J1是联合节点。

树中的所有节点都应将属性failureAndRerunMode设置为cascade,所有关节节点都应将此属性设置为none

这允许您将级联故障本地化到子树的大小。