Kafka控制台制作人跳过消息

Question

我尝试使用以下方式将文件发送到主题：

cat myfile | kafka-console-producer.sh --broker-list $BROKER_URL --topic mytopic

当我检查主题上的消息计数时，我看到的消息少于实际消息。

在写作期间，我看到一条消息：

[2017-11-15 14:05:26,864] WARN Error while fetching metadata with correlation id 0 : {abc123=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient)

我已正确设置广告主机名和听众。

令我困惑的是，如果领导者不可用，它如何设法将任何消息放入主题？此外，该消息随机出现，有时它不会。

我该如何调试？

Answer 1

正如 vahid 在评论中所指出的，这是一个知道issue。

解决方法是为控制台生产者指定--request-required-acks 1。

LEADER_NOT_AVAILABLE的随机发生在我写入新主题而没有先显式创建它时发生。 （感谢 amethystic ）