使用Azure Data Factory将本地文件系统文件复制到blob时如何跳过现有文件

Question

我已经设置了一个管道，可以将大量文件从本地存储到blob存储。有没有办法让计划管道忽略以前上传的文件？理想情况下，它可以根据上次修改的时间文件属性工作。

我想到的一个选项是将此管道设置为OneTime并仅在我需要同步文件时启动它，但这里存在两个问题：

• 我希望此管道不涉及手动活动，例如执行作业或将文件移动到时间切片文件夹
• 它仍会提升大量GB数据

这样做的正确模式是什么？

Answer 1

使用ADF V2，您可以使用get Metadata activity获取lastModifed属性来实现此目的。然后，您可以链接if活动以检查lastModfied Time。