我正在使用将内部SQL的表数据动态加载到datalake csv文件的管道,为我已经设置为使用Foreach在AzureSQL的versionControl表中加载的每个表沉入一个.csv文件。
因此,在加载数据之后,我想基于加载的每个.csv文件的MAX(lastUpdate)字段,以lastUpdate日期更新versionControl表。为此,我知道我需要在复制活动之后添加一个数据流,以便可以使用聚合转换,但不知道如何在参数中动态地将文件名传递给数据流的源。
谢谢!
答案 0 :(得分:1)
2个选项:
参数化数据集。在数据流中使用具有文件名参数的源数据集。然后,您可以将该文件名作为管道参数传递。
参数化源通配符。您还可以在数据流中使用仅指向容器中的文件夹的源数据集。然后,您可以在Source中对通配符属性进行参数化,并在其中将文件名作为管道参数发送。