Kafka Connect配置和“消费者”。字首

时间:2019-09-03 23:49:07

标签: apache-kafka apache-kafka-connect

我希望在https://docs.confluent.io/current/connect/userguide.html

上对kafka connect配置属性有所了解。

我们在将融合连接集群连接到kafka connect实例时遇到问题。根据我的判断,我们已经正确配置了所有设置,没有任何运气。

经过大量的搜索,一些人发现在配置属性前面加上“ consumer”。似乎可以解决此问题。这里https://docs.confluent.io/current/connect/userguide.html#overriding-producer-and-consumer-settings

提到了该前缀

我很难理解将头包裹在前缀周围以及如何通过连接获取和使用属性。我假设kafka connect使用的java api客户端将从属性文件中获取连接属性。它可能具有一些硬编码的配置属性,可以通过在属性文件中指定值来覆盖这些属性。但是,这是不正确的?上面链接的文档提到 All new producer configs and new consumer configs can be overridden by prefixing them with producer. or consumer.

有哪些新配置?该页面上的链接仅将我带到所有配置的列表。医生提到 有时,您可能有一个需要调整默认设置的应用程序。一个示例是运行日志文件连接器的独立进程 作为使用前缀替代的用例,但这是连接集群,该用例如何适用?如果到目前为止已经读过,请感谢您的时间

1 个答案:

答案 0 :(得分:0)

new前缀可能会引起误解。 Apache Kafka当前的版本为2.3,并在0.8和0.9中添加了“新的”生产者和使用者API。现在,这些只是标准的生产者和消费者,但是new前缀已经存在。

就覆盖配置而言,就是您所说的;您可以在Kafka Connect工作程序中的任何标准使用者/生产者配置前面加上consumer.(对于接收器)或producer.(对于源)。

请注意,从Apache Kafka 2.3开始,您还可以按每个连接器覆盖它们,如这篇文章中所述:https://www.confluent.io/blog/kafka-connect-improvements-in-apache-kafka-2-3