数据工厂 - 使用通配符确定文件名

时间:2017-12-21 16:51:52

标签: azure etl azure-data-factory

我正在使用Data Factory将文件从文件系统移动到Blob存储。

问题是:文件是使用YYYYMMDD标识符命名的,[我可以通过分区({year} {month} {day})]和TIME(即文件创建时间)来解析。

如何获取包含动态时间的文件名?我已经尝试过使用*,_和其他常用的通配符。

我真的很感谢你的帮助!

1 个答案:

答案 0 :(得分:1)

在ADFv1中,文件过滤器,文件名和文件路径的组合非常有限,并且通配符不能跨不同的属性协同工作。

鉴于你的情况,我认为目前还没有任何关于此的事情。

我可以建议的最佳选择:

  1. 获取在源数据来源的位置创建为父文件夹的年份和日期。
  2. 完全忽略文件名。然后使用自定义活动在下游活动中使用一些C#粉碎文件名。
  3. 我过去做过选项2,因为更改源系统并不总是一个选项。

    我很欣赏这些选项都不理想。 选项3 将使用文件路径的表达式在ADFv2活动中更动态地执行某些操作。

    希望这有帮助。