在azure数据工厂中进行复制活动之后,是否有一种方法可以给我提供在azure数据湖存储中复制的文件列表?我必须从数据源复制数据,之后必须根据特定条件跳过文件。条件还必须检查文件路径和名称以及sql数据库中的其他数据。有什么主意吗?
答案 0 :(得分:0)
到目前为止,在复制活动之后,尚无获取文件列表的功能。但是,您可以使用get Metadata活动或Lookup Activity并将Filter activity链接到该活动,以根据您的情况获取文件列表。
有一种解决方法,您可以签出here。
“在这种情况下,解决方案实际上非常简单。我刚刚在Azure数据工厂中创建了另一个管道,该管道是由Blob Created事件触发的,并且文件夹和文件名作为参数传递给了我的笔记本。看起来很好用,只需最少的配置或代码即可对该事件进行基本过滤,其余的则由笔记本决定。
对于在此情况下遇到困难的其他人,请参见以下详细信息:
https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger“