我正在使用 spark-streaming-kafka-0-8_2.11
在卡夫卡进行手动抵消管理org.apache.spark 火花流 - 卡夫卡0-8_2.11 2.1.0
从Kafka-0-10开始,文档说我们可以使用以下代码提交偏移量。
OffsetRange[] offsetRanges = ((HasOffsetRanges) rdd.rdd()).offsetRanges();
((CanCommitOffsets) stream.inputDStream()).commitAsync(offsetRanges);
但是,我无法理解如何使用kafka-0-8提交偏移量。我可以获得偏移范围,但看不到CanCommitOffsets
API。似乎这只是从kafka-0-10引入的。
我不想使用Zookeeper / HBase / Checkpoint来管理偏移量。