Coucbase至Kafka源连接器

Question

我已经使用kafka源连接器将文档从Couchbase转到kafka。然后将这些文档复制到Mongo DB。

Couchbase->源连接器-> Kafka->接收器连接器---> Mongo

如果源连接器关闭，那么如何再次将所有文档同步到Kafka？

是否存在任何获取和触摸功能，可以使活动期间kafka主题的所有更改发生变化？

Answer 1

如果您要处理在源连接器关闭时发生的文档更改，则无需执行任何操作。 Kafka Connect存储源连接器的状态（偏移），并将恢复StreamTask状态并从中断的位置继续。 Couchbase源连接器支持此功能，正如我们在代码here中看到的那样，然后将其用于here以使用保存的偏移量初始化DCP流。

如果您要问如何重置连接器并从一开始就对整个存储桶进行流式处理，那实际上就不那么容易了。据我所知，Kafka中没有内置的方法可以重置连接器的偏移量-与此相关的KIP正在接受审查：KIP-199除非获得官方支持，否则我知道重置连接器状态的最佳方法是更改配置以使用其他主题来保存偏移量（这很麻烦，并且将旧的偏移量保留为潜在问题），或者按照here的说明实际编辑已保存的偏移量。我绝不主张在生产系统上执行任何一项操作，因此请使用您自己的判断。