我正在尝试执行ETL活动，其中将以JSON托管在API的数据增量复制到Azure SQL数据库表中。我遇到的问题是我不确定如何考虑新条目/更改条目。我不想每次运行管道时都删除所有内容并进行大量复制...有什么建议吗？到目前为止，我所能找到的唯一帮助涵盖了其中Azure SQL数据库表是源而不是接收器的情况...
答案 0 :(得分：0)
[需要ODATA或过滤功能]
此问题的常见解决方案是拥有一个（或两个）字段：
UpdatedDate / CreatedDate
并通过UpdatedDate / CreatedDate> = LastSuccessfulSyncDate进行过滤
每次更改行时，都需要修改UpdatedDate / CreatedDate字段。为此，请使用数据库触发器或在您的应用程序逻辑中使用。
您还可以使用RabbitMQ或Azure Service Bus之类的消息代理来查看应用程序进程之间的更好通信