标签: apache-kafka kafka-consumer-api
我为某个主题有6个分区,并创建了一个有6个消费者的消费者组。因此,这里每个消费者都从1个分区中读取数据。这里的问题是,一个分区具有更多数据,而其他分区具有最少数据,这是由于一个消费者执行速度较慢的一个分区中的数据偏斜所致。如何处理这种情况。
答案 0 :(得分:0)
您需要知道要发送给主题的密钥。如果键为null,则这不可能。
如果非空键分布偏向几个值,则这些分区将更大。
欢迎您编写自己的Partitioner界面,否则。
Partitioner