将文件名添加为数据工厂管道目标中的列

时间:2018-08-15 05:17:42

标签: pipeline azure-data-factory

我是DF的新手。我正在将一堆csv文件加载到表中,我想将csv文件的名称捕获为目标表中的新列。

有人可以帮我实现这个目标吗?预先感谢

3 个答案:

答案 0 :(得分:0)

如果目标是蔚蓝表存储,则可以将文件名放入分区键列。否则,我认为ADF没有本地方法可以做到这一点。您可能需要custom activitystored procedureenter image description here enter image description here

答案 1 :(得分:0)

  1. 一个帖子说可以使用数据块来解决这个问题。 Data Factory - append fields to JSON sink

  2. 另一篇文章说他们正在使用USQL来解决这个问题。 use adf pipeline parameters as source to sink columns while mapping

  3. 有关存储过程,请参考此帖子。 Azure Data Factory mapping 2 columns in one column

答案 2 :(得分:0)

如果您使用映射数据流,则源设置下有一个选项可以保存正在使用的文件名。稍后它可以映射到 Sink 中的列。