我有1个生产者(PublishKafka_0_10处理器)和1个消费者(ConsumerKafka_0_10处理器)来接收来自Kafka集群的流文件。
我在Nifi UI管理员看到,生产商的总数是7个包,但消费者只收到4个包。我还使用kafka_console_consumer.sh来查看生产者的包,它显示了整个7个包。
我不知道为什么以及在哪里丢失了来自consumerKafka_0_10处理器的3个软件包。
我使用3个节点的kafka集群和3个节点的nifi集群。
答案 0 :(得分:1)
要检查的几件事......
ConsumeKafka处理器在你第一次运行它时默认为最新的偏移量,所以如果你先启动PublishKafka,然后是ConsumeKafka,可能是在消费者启动之前发布了一些消息,然后消费者从消息的偏移量。
还要检查ConsumeKafka中是否有Message Demarcator。如果您这样做,它将在流文件中放置多条消息。