将文件从Azure Blob存储复制到Azure Data Lake存储

时间:2018-10-28 17:29:23

标签: azure-data-factory azure-data-lake

我正在将文件从Azure Blob存储复制到Azure Data Lake存储中,我需要从year(文件夹)\ month(文件夹)\ day(txt文件以天为基础)中选择文件。我能够做一个文件与hadrcoded路径,但我不能每天选择文件并处理要在天蓝色的数据湖存储中进行复制。谁能帮我。

我正在使用ADF V2,并使用UI设计器来创建我的连接,数据集和管道,我的步骤是我可以正常工作的

  • 将文件从Blob存储复制到Data Lake存储
  • 从数据湖存储中选择该文件,并通过usql处理以转换数据。
  • 转换要保存在Azure SQL DB中的数据

请给我答案,我无法获得任何帮助b / c所有帮助都在JSON中,我正在寻找如何在UI设计器中定义和传递参数。

谢谢

1 个答案:

答案 0 :(得分:1)

对于分区文件路径部分,您可以看一下this post。 您可以使用复制数据工具来处理它。