当我使用Confluent Control Center创建源或接收器连接器时,它在哪里保存与该连接器相关的设置?我有可以浏览的文件吗?我们计划创建50多个连接器,我们需要将它们从一个环境复制到另一个环境,我想知道是否有一种简单的方法可以做到这一点。
答案 0 :(得分:1)
分布式模式下的Kafka Connect使用Kafka主题来存储配置。
Kafka Connect支持REST API。您可以使用它来查看现有的连接器配置,创建新的连接器配置(包括50个以上的新连接器以编程方式/自动方式),启动/停止连接器等。
REST API为documented here。
答案 1 :(得分:0)
Kafka Connect分布式模式以属性文件启动。该属性文件定义了“配置主题”。
但是,您可以加载的连接器不会存储在那里 - 这仅适用于正在运行的源/接收器配置。
类本身在各个Connect Workers的类路径中捆绑为JAR文件,而Control Center目前没有配置新Connect类的方法。换句话说,您必须使用Ansible之类的东西或手动连接到每个工作者,下载所需的Connect类型,然后将其提取到其他连接旁边。
例如,让我们假装你想要Syslog连接器。
您在Confluent安装
中的usr / share / java下已有这些文件夹kafka-connect-hdfs
kafka-connect-jdbc
...
因此,您下载或构建该Syslog连接器,创建一个kafka-connect-syslog
文件夹,然后删除所有必需的jar库。
对所有连接实例执行此操作后,您还需要在这些计算机上重新启动Kafka Connect进程。
一旦Control Center连接回Connect服务器,您就可以配置新的Connect类