访问元数据将导致Azure数据工厂的嵌套管道

时间:2020-04-24 21:25:47

标签: azure foreach azure-data-factory

我建立了一个管道,该管道从Blob容器子文件夹raw / subfolder中读取元数据。然后,我使用另一个获取元数据任务执行一个foreach循环,以获取每个子文件夹的数据,它返回以下类型的数据。 / raw / subfolder1 / folder1,/ raw / subfolder2 / folder1,/ raw / subfolder2 / folder1等。我需要另一个foreach循环来访问每个文件夹中的文件。问题是您不能在另一个foreach循环中运行一个foreach循环,所以我无法进一步遍历这些文件。

我有一条执行datapipline,它调用上面的管道,然后使用一个foreach。我的问题是,我没有找到将上述迭代的item()。name传递给新管道的方法。看来您可以通过上一个管道传递对象了吗?我如何能够完成此嵌套的foreach metat数据收集,以便对文件进行进一步的迭代?

2 个答案:

答案 0 :(得分:1)

您是否尝试过使用参数?这是它的样子:

  1. 在父管道中,单击“执行管道”活动,该活动将触发内部管道(您的新管道),进入设置,并将项目名称指定为参数“名称”。 enter image description here
  2. 在内部管道中,单击空白处的任意位置,然后添加新的参数“名称”。 enter image description here
  3. 现在您可以像这样引用该参数:pipeline()。parameters.name

答案 1 :(得分:0)

在这种情况下,使用参数的工作方式如@Andrii所述。 有关在活动之间传递参数的更多信息,请参考此链接。 https://azure.microsoft.com/en-in/resources/azure-data-factory-passing-parameters/