卡夫卡消费者并不仅要从4个分区中读取一个

时间:2018-12-21 10:43:05

标签: apache-kafka kafka-consumer-api

我使用的是Kafka 0.9,最近迁移到了Kafka 1.0,但是我使用的客户端仍然是0.9。无论如何,我都面临一个问题,即我们的消费者有时会间歇性地停止从一个或两个分区中消费。

我有5个使用者从24个分区中读取数据,这些是从部署在单个服务器中的应用程序创建的使用者JVM线程。使用者(线程)之一经常会停止从其要使用的分区之一中读取数据。

例如:一个使用者线程将从分区1、2、3和4读取数据。它将停止从分区1进行读取数据,最终建立滞后。我必须重新启动使用者以开始从该特定分区中选择那些消息。

我想在这里了解这个问题。

我的消费者配置

session.timeout.ms=150000
request.timeout.ms=300000
max.partition.fetch.bytes=153600

0 个答案:

没有答案