如何使用Kafka connect将数据传输到另一台机器的Kafka代理?

时间:2017-05-19 08:48:43

标签: apache-kafka apache-kafka-connect

我试图在Confluent平台3.2.1中使用Kafka connect,一切都在我的本地环境中运行良好。当我尝试使用Kafka源连接器将数据发送到另一台机器时,我遇到了这个问题。

我在机器A中部署Kafka JDBC源连接器并尝试捕获数据库A.然后我在机器B中部署了Kafka borker B(以及zk,架构注册表)。源连接器无法向代理B发送数据并抛出以下例外:

[2017-05-19 16:37:22,709] ERROR Failed to commit offsets for WorkerSourceTask{id=test-multi-0} (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:112)
[2017-05-19 16:38:27,711] ERROR Failed to flush WorkerSourceTask{id=test-multi-0}, timed out while waiting for producer to flush outstanding 3 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:304)

我尝试在代理B中配置server.properties,如下所示:

listeners=PLAINTEXT://:9092

并保留advertised.listeners设置的注释。 然后我用

bootstrap.servers=192.168.19.234:9092

在我的源连接器中,其中192.168.19.234是机器B的IP。机器A和B位于同一子网中。

我怀疑这与我的server.properties有关。

我应该如何配置才能完成任务?提前谢谢。

0 个答案:

没有答案