我为我的数据存储(Amppol ADS)开发了kafka-sink-connector(使用confluent-oss-3.2.0-2.11,连接框架),它将来自kafka主题的数据存储到我商店中的相应表中。 / p>
只要kafka服务器和ADS服务器启动并运行,每件事情都按预期工作。
需要有关特定用例的帮助/建议,其中事件在kafka主题中被摄取并且接收器组件(ADS)下面已关闭。 这里的期望是每当一个接收器服务器出现时,应该将先前在kafka主题中被摄取的记录插入到表中;
请告知如何处理此类案件。
在这个连接框架中是否有任何支持..?或至少一些参考资料将是一个很大的帮助。
答案 0 :(得分:0)
SinkConnector偏移量在Kafka上的_consumer_offsets主题中根据您的连接器名称进行维护,当SinkConnector重新启动时,它将从Kafka服务器中从_consumer_offsets主题上存储的先前偏移量中选择消息。
因此,您无需担心管理偏移量。这一切都由Connect框架中的工作人员完成。在您的方案中,您只需重新启动接收器连接器即可。如果消息由源连接器推送到Kafka并且在Kafka中可用,则可以随时启动/重新启动接收器连接器。