消费者对主题分区的影响变慢

Question

让一个Kafka主题只有一个配置有无限保留策略的分区。假设有两个消费者，Fast和Slow。

Fast使用者处理出现的消息，几乎没有滞后。

Slow消费者往往会有很大的滞后，例如两天的邮件价值。 Slow有时会赶上Fast，但这种情况很少发生，通常会有很大的滞后。

此设置在同一分区中具有两种不同的使用者速度时，会对卡夫卡经纪人造成负面影响吗？从磁盘中检索Slow使用者的较旧消息的I / O成本会增加吗？

Answer 1

滞后的使用者将无法从OS缓存中读取数据。因此，速度较慢的消费者将付出I / O成本。另一方面，缓慢的使用者开始阅读消息后，kafka将进行顺序I / O来缓存消息。如果等待时间不太长，那么使用者可以在缓存中找到下一条消息。