我们如何在Kafka主题中使用来自多个或单个分区的自定义消息?
当我使用Kafka主题中的多个分区的消息时,如何仅读取1条消息?
答案 0 :(得分:0)
您可以设置max.poll.records
使用方属性来设置单次轮询返回的记录数的上限。
另一种(也是更通用的)方法是读取任意数量的消息,但仅将偏移量提交到特定点,以使更少的消息被“消耗”。请记住,在Kafka消息中,从不会真正被读取时就清除掉的意义上来说,它们实际上是不会被消耗的-通过在消费者组的基础上保留主题分区偏移量来产生消耗的幻觉。