Question

我使用下面的kafka console producer命令将文件的内容传递给kafka生成器。

sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv

Data.csv文件包含大约700,000条记录。我在消费者输出中只收到大约699,800条消息。

我检查了消费者的偏移计数器，并根据偏移值在队列中只有699,800条消息。

你能否帮助我找出造成这个丢失消息问题的原因。我需要检查什么才能找到根本原因。

Answer 1

这是因为控制台生产者默认情况下acks = 0。将request-required-acks设置为1，它应该没问题。