给定偏移量列表,从特定的Kafka分区读取偏移量的最快方法是什么?

时间:2019-12-26 17:49:34

标签: apache-kafka

假设给定一个数字列表,这些数字代表某些记录在某些主题(主题,分区)中的偏移量。将它们映射到相应记录的最优化方法是什么?

P.S。相邻的数字之间可能存在很长的差距,但有时它们趋于紧密地结合在一起。所以你不能假设任何特定的模式。

1 个答案:

答案 0 :(得分:1)

假设使用Java API,则可以使用albumData.push({..})方法转到这些偏移量并读取消息。

您可能还希望调整轮询大小以一次不抓取500条记录,或者至少禁用自动偏移量提交