如何启用Kafka接收器连接器以便在接收器启动时将主题中的数据插入到表中

时间:2017-04-04 11:14:51

标签: apache-kafka apache-kafka-connect confluent

我为我的数据存储(Amppol AD​​S)开发了kafka-sink-connector(使用confluent-oss-3.2.0-2.11,连接框架),它将来自kafka主题的数据存储到我商店中的相应表中。 / p>

只要kafka服务器和ADS服务器启动并运行,每件事情都按预期工作。

需要有关特定用例的帮助/建议,其中事件在kafka主题中被摄取并且接收器组件(ADS)下面已关闭。 这里的期望是每当一个接收器服务器出现时,应该将先前在kafka主题中被摄取的记录插入到表中;

请告知如何处理此类案件。

在这个连接框架中是否有任何支持..?或至少一些参考资料将是一个很大的帮助。

1 个答案:

答案 0 :(得分:0)

SinkConnector偏移量在Kafka上的_consumer_offsets主题中根据您的连接器名称进行维护,当SinkConnector重新启动时,它将从Kafka服务器中从_consumer_offsets主题上存储的先前偏移量中选择消息。

因此,您无需担心管理偏移量。这一切都由Connect框架中的工作人员完成。在您的方案中,您只需重新启动接收器连接器即可。如果消息由源连接器推送到Kafka并且在Kafka中可用,则可以随时启动/重新启动接收器连接器。