将Confluent与现有的三家kafka经纪商联系起来

时间:2017-01-17 11:23:35

标签: apache-kafka apache-zookeeper confluent

我是Confluent世界的新人,我知道如何从融合中开始kafka,动物园管理员,但这并不是我所需要的。

Ambari已经安装了3个kafka节点和2个动物园管理员。之后我下载了3.0.0版本的Confluent,现在我想连接Confluent和已经运行的Kafka和zookeeper。我不想要实现新的kafka服务器或者汇集的服务器管理器服务器。

有没有人知道如何实现这一目标,从Confluent实际运行的内容以及要更改的内容。

到目前为止,我只是在汇总目录中的 ./ etc / kafka或./etc/zookeeper 中查找文件。谢谢!

1 个答案:

答案 0 :(得分:1)

  

阐明有关Confluent的一些基础知识以及如何管理Confluent与Kafka之间的通信

首先,没有一个可以单独启动的名为“ Confluent”的应用程序。

对于Kafka或Zookeeper没有任何配置。 Confluent平台不会在现有的Apache Kafka之上添加任何内容(大概是通过Hortonworks或Cloudera)。

实际上,这些公司确实向Kafka添加了补丁,这些补丁与您从Confluent获得的基本Apache版本略有不同。

这就是说,如果您通读Confluent提供的每项额外服务,您会注意到Zookeeper或Bootstrap服务器配置选项。填写这些字段,启动相应的服务,一切就好了。


  

从Confluent实际运行什么

bin目录中查找,您可以找到所有启动脚本。从注释中看,您似乎正在尝试使用Connect Distributed(任何最近的Kafka安装都已经安装了Connect,并且不是Confluent专用的)和Schema Registry。您必须更详细地说明所得到的错误,但配置文件都在etc路径中。

除非您使用的是KSQL,REST代理或控制中心,否则就没有什么可运行的了,因为如上所述,Kafka Connect包含在基本的Apache Kafka项目中,而Hortonworks仍在维护自己的Schema Registry项目

  

Ambari安装了2个动物园管理员

这是非常不推荐的设置。请安装奇数个Zookeeper。 3或5,最好是