卡夫卡消费者没有收到＆＃34;一些＆＃34;的消息

Question

我正在使用Producer和Consumer的API为Apache Kafka运行一个简单的设置。

为了模拟重负荷，我是

• 运行Producer的多个实例（比如说2），
• 所有这些消息都发送相同的消息（消息内容不在乎）
• 多次（每个主题1000个）
• 涉及大量主题（比如说5）

我正在运行一个消费者来阅读来自所有主题的消息，并记录处理的消息数量。

我希望在消费者端得到（2 x 5 x 1000）= 10000条消息。

但收到的邮件数量少于预期。

对于较小的一组消息（例如，发送到每个主题的50条消息），此行为不存在。所以我知道我的设置不会出错。

我在这里缺少一些配置吗？或许，Kafka没有从Producer实例收到一些消息，API没有通知我？

仅供参考：这是在我的个人计算机上托管的单个VM上运行。 Kafka和Zookeeper都在同一台机器上。到目前为止，我对设置的性能并不感兴趣。如果某些消息丢失，性能指标无效。