使用kafkautils进行火花流中的偏移管理(Kafka-0.8)

时间:2018-05-15 05:50:16

标签: java apache-spark apache-kafka spark-streaming

我正在使用 spark-streaming-kafka-0-8_2.11

在卡夫卡进行手动抵消管理
  

org.apache.spark         火花流 - 卡夫卡0-8_2.11         2.1.0

从Kafka-0-10开始,文档说我们可以使用以下代码提交偏移量。

OffsetRange[] offsetRanges = ((HasOffsetRanges) rdd.rdd()).offsetRanges();
((CanCommitOffsets) stream.inputDStream()).commitAsync(offsetRanges);

但是,我无法理解如何使用kafka-0-8提交偏移量。我可以获得偏移范围,但看不到CanCommitOffsets API。似乎这只是从kafka-0-10引入的。

我不想使用Zookeeper / HBase / Checkpoint来管理偏移量。

0 个答案:

没有答案