从PostgreSql增量复制数据到Blob

Question

我目前正在研究PostgreSql，并且正在将Incremental数据从PostgresDb移到Blob，请为我提供解决方案，以前尝试过使用复制工具模板，但没有用。

我想将数据从PostgreSql增量复制到Azure Blob。

Answer 1

请按照此link中的解决方案在源数据库中定义具有最后更新的时间戳或递​​增键的水印。

1. 选择水印列。。在源数据存储区中选择一列，该列可用于切片每次运行的新记录或更新记录。通常，在创建或更新行时，此选定列中的数据（例如last_modify_time或ID）会不断增加。

2. 在复制活动中配置查询sql。

例如select * from table where modifyTime between 2019.3.27 and 2019.3.28

3. 创建计划触发器以运行管道和复制活动。请参阅此link。您可以每天触发一次，以增量方式复制昨天的数据。