限制Kafka消费者的记录数量

时间:2015-12-20 02:01:43

标签: apache-kafka kafka-consumer-api

是否可以限制我们在Kafka 0.9.0消费者中收到的记录数量?

2 个答案:

答案 0 :(得分:2)

您要查找的配置是:

max.poll.records

此设置一次调用poll()返回的最大记录数。

答案 1 :(得分:0)

浏览Broker Configs。似乎只有用于根据字节控制记录的配置选项。

replica.fetch.max.bytes
replica.fetch.min.bytes

所有与消息相关的其他配置选项似乎都以字节表示。我认为这样设计的原因之一是提供更加统一的消息消费控制。字节是衡量消息的一种非常具体的方法。由于消息具有在字节数方面变化很大的能力,因此尝试测量消息数量会产生一些不一致的行为。

实施例。如果您有10条消息,每条消息100字节,则总大小将为1,000字节。如果您有第二组10条消息,每条消息100,000字节。总大小为1,000,000字节(1MB)。

根据消息数配置Kafka会将这两种情况完全相同。但由于尺寸如此不同,它们可能不应该完全相同。