将RDS Postgres数据流式传输/逻辑复制到kinesis的最佳方法

Question

我们的主数据存储区是RDS Postgres数据库。如果我们可以将Postgres中发生的所有更改流式传输到某个接收器 - 无论是kinesis，elasticsearch还是任何其他数据存储，那将是很好的。

我们使用支持“逻辑复制”的Postgres 9.5。但是，在RDS上阻止了进入此流的所有扩展。有一个关于将MySQL RDS风格流式传输到kinesis的教程 - 相当于postgres是理想的。这目前可能吗？

Answer 1

通过将其修改流式传输到Amazon Kinesis Data Streams中，将PostgreSQL数据库的中央Amazon Relational Database Service（Amazon RDS）与其他系统集成。较早的文章“使用Amazon Kinesis在数据库中流式传输更改”描述了如何通过Kinesis通过流式修改将MySQL数据库的中央RDS与其他系统集成。在本文中，我将进一步介绍如何使用AWS Lambda函数捕获Amazon RDS for PostgreSQL中的更改并将这些更改流式传输到Kinesis Data Streams。

https://aws.amazon.com/blogs/database/stream-changes-from-amazon-rds-for-postgresql-using-amazon-kinesis-data-streams-and-aws-lambda/

Answer 2

看看https://github.com/disneystreaming/pg2k4j。它接受对数据库所做的所有更改，并将它们流式传输到Kinesis。有关如何使用RDS进行设置的示例，请参见自述文件。我们一直在生产中使用它，发现它对于解决这个确切的问题非常有用。免责声明：我写了https://github.com/disneystreaming/pg2k4j