使用增量ID作为水印来复制天蓝色数据工厂管道中的数据而不是日期时间

Question

我可以使用时间戳将数据从源Azure MSSQL DB递增加载到接收器Azure MSSQL DB。出于某种原因，我希望使用源数据库中的增量ID而不是时间戳来逐步加载数据。这可能吗？

我每天只需要运行一次“复制数据”活动。所以我还想在batch_details表中存储每个复制数据活动的批处理ID。

我正在使用ADF v.2

我是蔚蓝的新手，我该怎么做？

Answer 1

您所要求的基本上是本教程中从官方文档中解释的内容：https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview

您可以使用任何您想要的水印，教程使用日期时间值，但增量ID也可以。

要每天运行一次管道，请使用触发器：https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-trigger

希望这有帮助！