卡夫卡生产者和消费者之间的信息消失了

时间:2020-10-11 16:41:35

标签: apache-kafka librdkafka

我有一个非常简单的嵌入式kafka应用程序:一个生产者线程和两个使用者线程编写顶级postgres db。这三个线程在单个进程中运行。我正在使用librdkafka来实现我的消费者和生产者,并以代理身份运行apache-kafka。邮件大小约为2kB。我有两个计数器:一个计数器在我写(rd_kafka_produce)时递增,另一个在我读(rd_kafka_consume_batch)时递增。如果我运行生产者的速度足够快(超过30000条消息/秒),则生产者计数器最终会比消费者计数器大得多(如果我运行30秒,则约为15%)。所以我在某处丢失了消息。我的第一个问题是如何调试此类问题?第二个是最可能导致此问题的原因,我该如何解决?

0 个答案:

没有答案