在不同的服务器上运行Kafka和Kafka-connect？

Question

我想知道Kafka和Kafka-connect是否可以在不同的服务器上运行？因此，连接器将在服务器A上启动，并将数据从服务器B上的kafka主题发送到HDFS或S3等。谢谢

Answer 1

是的，你可以做到。

我有一套kafka服务器，kafka connect应用程序在不同的机器上运行，并在hdfs中写入数据。你必须提到你必须在工作者属性文件（config / connect-distributed.properties或config / connect-standalone.properties）下的 bootstrap.servers 中提及代理列表而不是 localhost： 9092

Answer 2

是的，对于生产部署，出于资源原因，通常建议这样做。通常，您将部署一个Kafka Brokers集群（3个用于HA），然后部署一个Kafka集群工作者集群（尽可能多的吞吐量容量/弹性） - 所有这些都在不同的节点上。

有关详细信息，请参阅Confluent Enterprise Reference Architecture。