Azure数据工厂-在每个活动的内部获取元数据

时间:2020-08-24 17:44:30

标签: foreach azure-data-factory

文件夹结构:

原始

  • test1
    • in.csv
    • out.csv
  • test2
    • in.csv
    • out.csv
  • test3
    • in.csv
    • out.csv

这是我想要做的-使用获取元数据活动获取原始文件夹内的文件夹列表。然后使用Foreach遍历获取元数据活动的子项,然后在for每个循环中,使用另一个获取元数据活动,该活动获取每个文件夹(所有测试文件夹)的元数据。这应该在创建新的测试文件夹时起作用(将触发运行管道),每个文件夹内部具有相同的结构和相同的文件,但是我需要获取元数据以便将来能够在没有这些文件夹的情况下工作。还不存在。
我面临的问题是为for循环内的Get Metadata设置数据集,因为我无法将数据集设置为多个测试文件夹,其中有些还不存在。我不想每次都更新数据集,因为我希望管道在创建新测试文件夹时使用触发器自动运行。 谢谢!

1 个答案:

答案 0 :(得分:1)

请尝试以下操作:

我的管道的屏幕截图: enter image description here

“获取元数据活动”内部的数据集: enter image description here

如果您不确定文件夹(test1,test2,test3)或csv文件(in.csv,out.csv)存在, 您可以像这样在“获取元数据活动”中选择“存在”:

enter image description here

然后您可以在输出中使用此值来确认它是否存在,以便您可以执行其他操作而不会出错。

enter image description here

希望这可以为您提供帮助。

相关问题