是否可以通过Azure数据工厂将增量数据从SQL Server复制到Blob存储？

Question

我正在尝试将增量数据从Azure SQL复制到Blob存储，但是它将覆盖每个文件中的所有现有数据。您能为我解决这个问题吗？

Answer 1

您的管道将仅需要捕获“增量”数据，而不是所有数据。 它将需要大量的查找活动，仅复制增量数据的复制活动以及用于更新上次修改日期（以供将来复制）的存储的proc活动。

签出： https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

Answer 2

在每次增量加载中创建新文件，然后将增量文件数据附加到原始文件。对于追加文件数据，请使用此链接How to Append a Text File in an Azure Blob with a Azure Function。