运行多个kafka独立hdfs连接器时出错

时间:2017-06-14 10:56:12

标签: apache-kafka apache-kafka-connect

我们正尝试在给定节点上启动多个独立的 kafka hdfs 连接器。

对于每个连接器,我们将rest.portoffset.storage.file.filename分别设置为不同的端口和路径。

kafka经纪人JMX端口也是@ 9999。

当我启动kafka独立连接器时,我收到错误

  

错误:代理抛出异常:java.rmi.server.ExportException:端口已在使用中:9999;嵌套异常是:       java.net.BindException:已在使用的地址(绑定失败)

虽然rest.port设置为9100

kafka版本:2.12-0.10.2.1

kafka-connect-hdfs版本:3.2.1

请帮忙。

2 个答案:

答案 0 :(得分:0)

  

我们正在尝试在给定节点上启动多个独立的kafka hdfs连接器。

您是否考虑在单个Kafka Connect实例中运行这些多个连接器?这可能会使事情变得更容易

Kafka Connect本身可以处理在单个工作进程中运行多个连接器。分布式模式下的Kafka Connect可以在单个节点上运行,也可以在多个节点上运行。

答案 1 :(得分:-1)

您可能已经打开了一些您不了解的Kafka Connect连接。您可以通过以下方式查看:

ps -ef | grep connect

如果发现任何问题,请终止这些进程。