Kafka Conenct:处理完所有数据后自动终止

时间:2018-07-24 13:26:35

标签: apache-kafka apache-kafka-connect

我想使用Kafka Connect将Kafka主题中的大量数据备份并还原到各种目标位置(文件,另一个主题,S3等)。但是,它以流模式运行,因此永远不会终止。但是在我的情况下,它应该在处理了当前主题中的所有数据之后自动退出(在我的上下文中,确保在备份开始之前所有生产者都已关闭)。

是否有任何选项/参数,以便Kafka Connect连接器在处理完所有当前数据后自动终止,例如存储在文件中?

1 个答案:

答案 0 :(得分:0)

AFAIK没有此类选项。您可以在Kafka Connect group.id上创建“看门狗”检查延迟,并在处理了延迟之后,例如= 0,则关闭进程。

正如我们在公司中所做的那样:我们开始让消费者每3-6小时处理一次消息,以处理滞后,创建文件然后终止。文件正在上传到其他目的地。