Confluent 5.0.0 kafka connect hdfs接收器:无法描述升级后的kafka connect用户组滞后

时间:2018-09-17 03:34:24

标签: apache-kafka confluent

我们从Confluent 4.0.0升级到5.0.0,升级后,我们无法列出kafka connect hdfs接收器连接器用户延迟。

$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --group connect-kconn_scribe_log_backend --describe
Note: This will not show information about old Zookeeper-based consumers.
$ 

kafka 2.0 / confluent 5.0.0中的consumer group命令是否进行了任何修改?我如何根据此滞后跟踪需要提醒的滞后? 我们的经纪人在kafka版本1.1.0上运行。 升级后,也无法在kafka管理器中看到连接使用者组。 kafka connect没有问题,因为连接器能够写入hdfs。 谢谢。

1 个答案:

答案 0 :(得分:0)

Kafka Connect HDFS连接器不再提交偏移,因此没有滞后计算的依据。

PS。 恢复基于文件命名约定,即HDFS,文件名具有分区和偏移信息。