是否可以在aws数据管道下运行整个依赖关系树的子部分。至于我能理解的是,没有办法做到这一点。
要么必须重新运行整个管道,要么只重新运行一些单独的sql活动。随着sql活动的数量开始增加,这变得很难。 ..
答案 0 :(得分:0)
我不确定你的用例是什么,但我认为这个技巧可以帮助你。
您需要在没有交叉点的树集中分解图形。那些连接不同树节点的边缘应该用关节节点替换。例如,如果您的图表是:
A1 -> A2 -> B1 -> B2
这是两棵树A和B.这张图应该转换成图表:
A1 -> A2 -> J1 -> B1 -> B2
J1
是联合节点。
树中的所有节点都应将属性failureAndRerunMode
设置为cascade
,所有关节节点都应将此属性设置为none
。
这允许您将级联故障本地化到子树的大小。