Kafka和Kafka Connect部署环境

Question

如果我已经在现场运行过Kafka，是Kafka Connect只是我现有Kafka之上的配置，还是Kafka Connect要求它自己的服务器/环境与现有Kafka的服务器/环境分开？

Answer 1

Kafka Connect是Apache Kafka的一部分，但它作为一个单独的进程运行，称为Kafka Connect Worker 。除了在沙箱环境中之外，您通常会将其部署在与Kafka代理不同的计算机/节点上。

此图从概念上显示了其运行方式，与您的经纪人分开：

您可以在单个节点上或作为群集的一部分运行Kafka Connect（用于吞吐量和冗余）。

您可以在此处了解有关installation and configuration和architecture of Kafka Connect的更多信息。

Answer 2

在bootstrap-server的配置之上，Kafka Connect是其自己的配置。

对于Kafka Connect，您可以在独立服务器或分布式连接服务器之间进行选择，并且必须更新相应的属性文件以指向当前正在运行的Kafka服务器。

查看{kafka-root}/config下的内容，您会看到

基本上，您将根据需要更新独立连接或分布式连接的属性。