在汇合HDFS连接器中传递参数名称

Question

我们是否可以通过连接HDFS属性中的配置文件传递主题名称，文件名位置。现在，我们正在传递这样的主题名称：

Topic = <topic_1> , <topic_2>
File location = <File_directory>

如果我们在配置文件中获取主题名称，那么我们需要找到传递主题名称的方法，如下所示：

主题= cat <config_file> | grep topic_name | cut 1-7（这是读取配置文件的unix方式..我确信我们必须有一些方法来读取连接HDFS属性中的配置文件）

Answer 1

Kafka Connect将配置作为键值对中的Map对象读取。

topics和topics.dir确定将文件写入HDFS的位置。

如果要在本地解析实际的配置文件，则可以使用grep或jq（假设您正在使用分布式连接）