如何跳过Azure数据工厂中已复制的文件，复制数据工具？

Question

我想将数据从Blob存储（拼花格式）复制到cosmos db。计划每1小时触发一次。但是每次运行都会复制所有文件/数据。如何跳过已经复制的文件？

数据没有唯一键。我们不应再次复制相同的文件内容。

Answer 1

根据您的要求，您可以了解Blob Storage DataSet properties中的modifiedDatetimeStart和modifiedDatetimeEnd属性。

但是您需要每隔一段时间通过sdk修改数据集的配置，以推动属性值继续前进。

您可以考虑另外两种解决方案：

1。使用Blob Trigger Azure Function。如果对blob文件进行了任何修改，都可能触发该事件，然后您可以通过sdk代码将数据从blob传输到cosmos db。

2。使用Azure Stream Analytics。您可以配置input as Blob Storage和output as Cosmos DB。