基于Redpost的Debezium连接器基于现有的postgresql一个

Question

我已成功使用Postgresql Debezium插件进行Kafka连接。与普通的JDBC连接器（通过SQL查询不断轮询数据库）相比，该连接器直接连接到关系数据库的Write Ahead Log（WAL），从而极大地提高了性能。

以Redshift作为源而不是Postgresql是否有可能实现类似目的？我知道Redshift和Postgresql之间存在主要差异，因为Redshift是基于列的，基于集群的，没有二级索引，并且具有不同的用例。如果Redshift与预写日志有相似之处或使用完全不同的方法，我找不到确切的信息。

是否存在基于预写日志的方法来通过debezium或其他方式将数据从redshift表直接流到kafka，还是在技术上不可行？如果没有，那么实现相同目标的替代方案又如何呢？

Answer 1

要在一行中回答您的问题-不，不支持此操作，请确保AWS（或任何现代DW）永远不会考虑启用此功能。

从我的角度来看，有两个重要原因：

• RedShift本身从另一个数据库（例如Postgres）获取数据，主要目的是“不写（不写并发）”。
• 出于分析目的，我们将所有数据放入DW。从那里它将转到BI工具或任何与ML相关的作品。但是我从来没有见过将DW数据实时或接近实时传输到另一个数据库的地方。

（您可能已经知道此选项）如果仍然需要执行此操作，那么您正在从某些来源获取数据，对吗？使用相同的源从RedShift CDC发送要使用的数据。