Kafka Consumer附加分区但不消费消息

时间:2017-05-10 05:41:59

标签: apache-kafka kafka-consumer-api

我是卡夫卡的新手。我有一个节点Kafka经纪人(v 0.10.2)和一个zookeeper(3.4.9)。我正在使用新的Kafka Consumer API。我观察到的一件奇怪的事情是,当我启动多个Kafka消费者,将多个主题放在一个组中,然后点击./kafka-consumer-groups.sh这个组的脚本。很少有消费者对该群体感兴趣,但他们不会消费任何消息。 以下是群组命令的统计信息。

    TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                 HOST  
topic1 0          288             288             0          consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae   /<serverip>          consumer-8 

topic1 1          283             283             0         consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae   /<serverip>          consumer-8 

topic1 2          279             279             0         consumer-8-c9487cd3-573b-4c97-87c1-ddf2063ab5ae   /<serverip>          consumer-8 

topic2 0          -               9               -         consumer-1-b0476dc8-099c-4a62-a68c-e9dc9c0a5bed   /<serverip>          consumer-1 

topic2 1          -               2               -         consumer-1-b0476dc8-099c-4a62-a68c-e9dc9c0a5bed   /<serverip>          consumer-1 

topic3 0          450             450             0         consumer-3-63c07703-17d0-471b-8c5f-17347699f108   /<serverip>          consumer-3 

topic4                1          -               54        
    -        consumer-2-94dcc209-8377-45ce-8473-9ab0d85951c4   /<serverip>      



topic2 2          441             441             0          consumer-5-bcfffc99-5915-41f4-b3e4-970baa204c14   /<serverip>

有人可以帮助我,为什么主题 topic2 分区0 当前偏移正在显示 - 并且延迟正在显示 - 但是消息是仍然在服务器中,因为 LOG-END-OFFSET 显示为9。

这种情况经常发生,重新启动消费者会暂时解决问题。

任何帮助将不胜感激。

0 个答案:

没有答案