Data Factory数据流源中的动态文件名

时间:2020-08-04 15:12:29

标签: azure-data-factory-2 azure-data-factory-pipeline

我正在使用将内部SQL的表数据动态加载到datalake csv文件的管道,为我已经设置为使用Foreach在AzureSQL的versionControl表中加载的每个表沉入一个.csv文件。

因此,在加载数据之后,我想基于加载的每个.csv文件的MAX(lastUpdate)字段,以lastUpdate日期更新versionControl表。为此,我知道我需要在复制活动之后添加一个数据流,以便可以使用聚合转换,但不知道如何在参数中动态地将文件名传递给数据流的源。

谢谢!

1 个答案:

答案 0 :(得分:1)

2个选项:

  1. 参数化数据集。在数据流中使用具有文件名参数的源数据集。然后,您可以将该文件名作为管道参数传递。

  2. 参数化源通配符。您还可以在数据流中使用仅指向容器中的文件夹的源数据集。然后,您可以在Source中对通配符属性进行参数化,并在其中将文件名作为管道参数发送。