Kafka在MS-SQl CDC数据上流式传输

Question

我们如何使用Kafka流处理MS-SQL 2008 CDC（更改数据捕获）？ 任何最佳用例都有助于我们在环境中进行测试。

Answer 1

这并不容易。 Confluent编写了一个与Postgres CDC和Kafka一起使用的工具，名为Bottled Water，但它目前还不支持MSSQL CDC。它是开源的，因此您可以将其用作Roll Your Own解决方案的模板。

Answer 2

如果您正在开发一个原型，用于从SQL Server捕获更改并将其流式传输到Kafka。 Kafka Connect JDBC source connector是一个很好的起点。

请注意，它有一些限制，它不会捕获删除，它可能会错过一些更新。

如果您需要完整的证明方法，则应该流式传输数据库事务日志，该日志提供了提交给数据库的所有更改的完整日志。 Debezium（目前支持主要数据库），Golden Gate（Oracle）Change data capture（SQL Server）等工具为流向Kafka提供流量支持。