如何在Azure数据工厂管道中实现条件分支

Question

我正在实现一个管道，用于将数据更新从csv文件插入到SQL DB中。计划是首先将数据插入临时SQL表进行验证和转换，然后将处理后的数据移动到实际的SQL表中。我想根据验证结果分支管道执行。如果数据正常，则将其插入目标SQL表。如果有致命的失败，则应跳过插入活动。

试图找到指示/指导但到目前为止没有成功。如果管道活动支持条件执行的任何想法，例如基于输入数据集中的一些属性？

Answer 1

现在可以使用Azure Data Factory ver 2。

执行后，我们的下游活动现在可以依赖于四种可能的结果作为标准。   - 成功   - 失败  - 在结束的时候   - 跳过 此外，自定义“if”条件可用于基于分支的表达式。

请参阅以下链接了解更多详情： -

https://www.purplefrogsystems.com/paul/2017/09/whats-new-in-azure-data-factory-version-2-adfv2/

https://docs.microsoft.com/en-us/azure/data-factory/tutorial-control-flow

Answer 2

简短的回答是否。

我认为值得指出的是，ADF只是一个调用其他服务的编排工具。当前版本无法执行您想要的操作，因为它没有任何自己的计算。它不是SSIS数据流引擎。

如果您想要这种行为，则需要在处理过的数据集上使用标志等将其编码到SQL DB存储过程中。

然后可能有一些锅炉板代码，其参数从ADF传递，以执行插入或更新或转移操作。

来自ADF的params调用存储过程的方便链接：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-stored-proc-activity

希望这有帮助。