在Azure数据工厂复制活动之后获取文件列表

时间:2019-06-29 00:02:46

标签: azure copy azure-data-factory azure-data-lake

在azure数据工厂中进行复制活动之后,是否有一种方法可以给我提供在azure数据湖存储中复制的文件列表?我必须从数据源复制数据,之后必须根据特定条件跳过文件。条件还必须检查文件路径和名称以及sql数据库中的其他数据。有什么主意吗?

1 个答案:

答案 0 :(得分:0)

到目前为止,在复制活动之后,尚无获取文件列表的功能。但是,您可以使用get Metadata活动或Lookup Activity并将Filter activity链接到该活动,以根据您的情况获取文件列表。

有一种解决方法,您可以签出here

“在这种情况下,解决方案实际上非常简单。我刚刚在Azure数据工厂中创建了另一个管道,该管道是由Blob Created事件触发的,并且文件夹和文件名作为参数传递给了我的笔记本。看起来很好用,只需最少的配置或代码即可对该事件进行基本过滤,其余的则由笔记本决定。

对于在此情况下遇到困难的其他人,请参见以下详细信息:

https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger