分布式Kafka Connect主题配置

时间:2017-01-12 08:51:35

标签: apache-kafka apache-kafka-connect

我遇到了节点重启后我的Kafka Connect工作人员配置丢失的问题。 (http://broker:port/connectors/ - >空数组)

现在我认为它可以与“retention.ms”配置有关。因为connect config也存储在“config.storage.topic”中,并且会在“retention.ms”之后删除?所以我必须设置一个非常高的“retention.ms”。这是正确的还是由卡夫卡自动管理的? (如果您自己创建主题)

其他两个主题如何: status.storage.topic - 只有当前状态信息,不重要吗? offset.storage.topic

1 个答案:

答案 0 :(得分:3)

是的,这可能是。

“config.storage.topic”,“status.storage.topic”和“offset.storage.topic”都应配置为'cleanup.policy = compact'(默认情况下为'delete')。使用此策略,保留时间将不起作用 - 我们将始终保持每个连接器的最新配置。