Question

我知道如何删除此处Kafka Connect - How to delete a connector

所述的Kafka连接器

但是我不确定它是否也从* .sorage.topic中为该工作人员删除/擦除与连接器相关的特定配置，偏移和状态？

例如： 假设我删除了一个连接器名称为“ connector-abc-1.0.0”的连接器，并且Kafka connect worker是使用以下配置启动的。

offset.storage.topic=<topic.name>.internal.offsets
config.storage.topic=<topic.name>.internal.configs
status.storage.topic=<topic.name>.internal.status

现在，在对该连接器进行DELETE调用之后，是否会删除该特定连接器内部主题上的所有记录？
这样我就可以在同一工作器上但配置不同（偏移量不同的start.connector.connector.class）上以“相同的名称”创建新的连接器吗？

Answer 1

删除连接器时，偏移量将保留在偏移量主题中。如果您使用相同的名称重新创建连接器，它将重新使用与上一次执行的偏移量（即使连接器在两者之间被删除）。

Answer 2

由于仅将Kafka追加，所以删除这些Conncet主题中的消息的唯一方法是，使用连接器名称作为消息键并以null作为值发布该消息。

您可以使用控制台使用者检查这些主题，以查看其中包含--property print.key=true的数据，并在删除连接器时保持使用者运行。

您可以在PUT /connectors/{name}/config进行新配置，但是使用的任何特定偏移量取决于实际的连接器类型（接收器/源）；例如，内部有Kafka __consumer_offsets主题和offset.storage.topic。考虑到这一点，我不确定更改connector.class是个好主意

Kafka Connect-删除具有配置的连接器？

2 个答案: