为什么Nifi consumerKafka_0_10处理器接收的流文件少于总流文件?

时间:2017-06-09 06:54:24

标签: apache-kafka kafka-consumer-api apache-nifi

我有1个生产者(PublishKafka_0_10处理器)和1个消费者(ConsumerKafka_0_10处理器)来接收来自Kafka集群的流文件。

我在Nifi UI管理员看到,生产商的总数是7个包,但消费者只收到4个包。我还使用kafka_console_consumer.sh来查看生产者的包,它显示了整个7个包。

我不知道为什么以及在哪里丢失了来自consumerKafka_0_10处理器的3个软件包。

我使用3个节点的kafka集群和3个节点的nifi集群。

1 个答案:

答案 0 :(得分:1)

要检查的几件事......

ConsumeKafka处理器在你第一次运行它时默认为最新的偏移量,所以如果你先启动PublishKafka,然后是ConsumeKafka,可能是在消费者启动之前发布了一些消息,然后消费者从消息的偏移量。

还要检查ConsumeKafka中是否有Message Demarcator。如果您这样做,它将在流文件中放置多条消息。