是否可以限制我们在Kafka 0.9.0消费者中收到的记录数量?
答案 0 :(得分:2)
您要查找的配置是:
max.poll.records
此设置一次调用poll()
返回的最大记录数。
答案 1 :(得分:0)
浏览Broker Configs。似乎只有用于根据字节控制记录的配置选项。
replica.fetch.max.bytes
replica.fetch.min.bytes
所有与消息相关的其他配置选项似乎都以字节表示。我认为这样设计的原因之一是提供更加统一的消息消费控制。字节是衡量消息的一种非常具体的方法。由于消息具有在字节数方面变化很大的能力,因此尝试测量消息数量会产生一些不一致的行为。
实施例。如果您有10条消息,每条消息100字节,则总大小将为1,000字节。如果您有第二组10条消息,每条消息100,000字节。总大小为1,000,000字节(1MB)。
根据消息数配置Kafka会将这两种情况完全相同。但由于尺寸如此不同,它们可能不应该完全相同。