根据列的存在拆分数据因子管道

Question

我正在创建管道，以将一系列csv提取到Azure SQL数据库中

这些CSV来自一个名为 SystmOne 的医疗软件，这些CSV是 full 数据集或 delta 数据集。它们的架构唯一的区别是存在附加列：RemovedData。

此列的存在将需要在管道中执行其他步骤（使用RemovedData == true从数据库中删除任何行）。

ADF或（带有Data Flow Preview的ADF）中是否有一种方法可以查询文件中是否存在列并根据结果拆分管道？

我无法控制文件的初始输出。

Answer 1

您可以使用getMetadataActivty columnCount属性，然后使用If Activity检查源数据集中的列数。

IF活动中的表达：@equals(activity('YourGet Metadata').output.columnCount,numberOfColumns)

然后根据是非题选择具有适当模式的数据集。