卡夫卡中针对不同主题的多个连接器将到达同一节点

Question

我在kafka-connect中创建了两个kafka连接器，它们使用相同的Connector类，但是它们所听的主题不同。

当我在节点上启动流程时，两个连接器最终都在此流程上创建任务。但是，我希望一个节点仅处理一个连接器/主题。如何将主题/连接器限制为单个节点？我在connect-distributed.properties中看不到任何配置，该配置可以使进程指定要使用哪个连接器。

谢谢

Answer 1

分布模式下的

Kafka Connect可以作为一个或多个 workers 的集群运行。每个工作者可以运行多个任务。根据您正在运行的 connectors 和 workers 的数量，您将在同一 worker 上运行 tasks 。这是有意的-想法是Kafka Connect将在可用的工作人员中为您管理任务和工作量。

如果要隔离处理，则可以将Kafka Connect作为单独的Connect群集运行，可以在同一台机器上（确保使用不同的REST端口），也可以在单独的机器上运行。

有关更多信息，请参阅architecture和config，以了解配置单独群集的步骤。请注意，群集实际上可以是单个工作线程，但是如果发生故障，则没有任何冗余。