ADF-Azure数据工厂多次通配符过滤

时间:2020-04-20 14:01:04

标签: file pipeline azure-data-factory

我有一个条件,我必须过滤掉两种以上类型的文件。我可以使用通配符过滤掉1种类型,例如:* .csv,但不能执行* .xls,*。zip。

我有一个管道,可以将csv,avro,dat文件转换为.parquet格式。但是,文件夹中也有.zip,excel,powerpoint文件,我希望将它们过滤掉。我不是在使用3-4个活动,而是在寻找是否可以使用数据工厂的通配符选项使用(或)条件过滤出多个扩展的任何方法?

1 个答案:

答案 0 :(得分:0)

根据我的测试,动态内容不能接受多个wildcardsRegular expression

enter image description here

您必须使用多个活动来匹配文件的不同类型。或者您可以考虑使用“查找活动” +“每个活动”的解决方法。

1.LookUp活动从特定文件夹加载所有文件名。(子项)

2。在每个活动情况下检查文件格式。(使用endswith内置功能)

3。如果文件格式符合过滤条件,则进入True分支并将其配置为复制活动中数据集的动态路径。