Confluent Control Center连接数据库

时间:2018-04-26 17:13:56

标签: apache-kafka apache-kafka-connect confluent

当我使用Confluent Control Center创建源或接收器连接器时,它在哪里保存与该连接器相关的设置?我有可以浏览的文件吗?我们计划创建50多个连接器,我们需要将它们从一个环境复制到另一个环境,我想知道是否有一种简单的方法可以做到这一点。

2 个答案:

答案 0 :(得分:1)

分布式模式下的Kafka Connect使用Kafka主题来存储配置。

Kafka Connect支持REST API。您可以使用它来查看现有的连接器配置,创建新的连接器配置(包括50个以上的新连接器以编程方式/自动方式),启动/停止连接器等。

REST API为documented here

答案 1 :(得分:0)

Kafka Connect分布式模式以属性文件启动。该属性文件定义了“配置主题”。

但是,您可以加载的连接器不会存储在那里 - 这仅适用于正在运行的源/接收器配置。

类本身在各个Connect Workers的类路径中捆绑为JAR文件,而Control Center目前没有配置新Connect类的方法。换句话说,您必须使用Ansible之类的东西或手动连接到每个工作者,下载所需的Connect类型,然后将其提取到其他连接旁边。

例如,让我们假装你想要Syslog连接器。

您在Confluent安装

中的usr / share / java下已有这些文件夹
kafka-connect-hdfs 
kafka-connect-jdbc
... 

因此,您下载或构建该Syslog连接器,创建一个kafka-connect-syslog文件夹,然后删除所有必需的jar库。

对所有连接实例执行此操作后,您还需要在这些计算机上重新启动Kafka Connect进程。

一旦Control Center连接回Connect服务器,您就可以配置新的Connect类