每30秒查询PostgreSQL的有效方法？

Question

我需要从AWS中的某些PostgreSQL表中获取数据（等待处理多少条记录）以进行报告。将qry的结果发布到日志中，并由FluentD恶魔拾取并推送到elasticsearch / Kibana。做到这一点的直接方法是编写一个小型的spring boot应用程序，该应用程序每30秒左右对db进行一次ping操作。我觉得这是低效且昂贵的。有更好的方法吗？

感谢您的帮助。

Answer 1

使用变更数据捕获（CDC）来生成变更事件流，而不是定期查询数据库。使用流处理，将结果写入Elasticsearch索引。如果您不关心供应商锁定，则可以使用AWS DMS，Kinesis和Lambda来执行。否则，您可以使用合适的Kafka连接器读取更改并将事件发布到Kafka上。然后使用Kafka流将数据推送到Elasticsearch。