在Kafka中启动多个连接器通过单个分布式工作者连接吗？

Question

如何在单个分布式工作器（在3台不同的服务器上运行）中的Kafka Connect世界中启动多个 Kafka连接器？

现在，在此分布式工作器（相同的group.id）中，我需要4个Kafka连接器。

当前，我使用以下curl命令一次添加一个连接器。

curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'

问题：

• 对于我添加的每个新连接器，先前/现有的连接器都会与新连接器一起重新启动。

问题：

• 如何在分布式工作模式下通过一个REST调用启动/创建所有这些新连接器？
• 有没有办法在单个REST调用中拥有所有连接器配置，例如一系列连接器配置？

我尝试进行搜索，但没有遇到任何解决方法。

谢谢。

Answer 1

  

对于我添加的每个新连接器，先前/现有的连接器都会与新连接器一起重新启动。

是的，这就是Kafka Connect的当前行为。有关进一步的讨论，请参见：

• https://issues.apache.org/jira/browse/KAFKA-5505
• https://cwiki.apache.org/confluence/display/KAFKA/Incremental+Cooperative+Rebalancing%3A+Support+and+Policies

  

如何在分布式工作程序模式下通过一个REST调用启动/创建所有这些新连接器？   有没有办法在单个REST调用中拥有所有连接器配置，例如一系列连接器配置？

您无法在一个REST调用中完成

---

如果要在创建/更新连接器时将它们相互隔离，则可以只运行多个分布式群集。

因此，您可以有3个分布式Connect群集而不是每个运行3个连接器的1个分布式Connect群集。

实际上请记住，“分布式集群”可能只是一个节点，并且实际上都可以在同一台计算机上运行。您将扩展弹性和吞吐能力。