我希望在https://docs.confluent.io/current/connect/userguide.html
上对kafka connect配置属性有所了解。我们在将融合连接集群连接到kafka connect实例时遇到问题。根据我的判断,我们已经正确配置了所有设置,没有任何运气。
经过大量的搜索,一些人发现在配置属性前面加上“ consumer”。似乎可以解决此问题。这里https://docs.confluent.io/current/connect/userguide.html#overriding-producer-and-consumer-settings
提到了该前缀我很难理解将头包裹在前缀周围以及如何通过连接获取和使用属性。我假设kafka connect使用的java api客户端将从属性文件中获取连接属性。它可能具有一些硬编码的配置属性,可以通过在属性文件中指定值来覆盖这些属性。但是,这是不正确的?上面链接的文档提到
All new producer configs and new consumer configs can be overridden by prefixing them with producer. or consumer.
有哪些新配置?该页面上的链接仅将我带到所有配置的列表。医生提到 有时,您可能有一个需要调整默认设置的应用程序。一个示例是运行日志文件连接器的独立进程 作为使用前缀替代的用例,但这是连接集群,该用例如何适用?如果到目前为止已经读过,请感谢您的时间
答案 0 :(得分:0)
new
前缀可能会引起误解。 Apache Kafka当前的版本为2.3,并在0.8和0.9中添加了“新的”生产者和使用者API。现在,这些只是标准的生产者和消费者,但是new
前缀已经存在。
就覆盖配置而言,就是您所说的;您可以在Kafka Connect工作程序中的任何标准使用者/生产者配置前面加上consumer.
(对于接收器)或producer.
(对于源)。
请注意,从Apache Kafka 2.3开始,您还可以按每个连接器覆盖它们,如这篇文章中所述:https://www.confluent.io/blog/kafka-connect-improvements-in-apache-kafka-2-3