spark处理消息偏移

时间:2017-04-20 12:57:21

标签: apache-spark apache-kafka offset messages

我使用Spark v2.0.2与Scala 2.11和Spark Streamming(createDirectStream方法)与Kafka v0.8.2。

我正在使用来自Kafka主题的消息,并且有办法为创建的RDD打印偏移范围。但是,我想知道是否有办法访问当前由Spark处理的每条消息的偏移量,因此我可以将最新处理的消息偏移ID提交到例如zookeeper或定期将最新处理的消息ID保存到DB或文件中?

我已阅读Spark文档但无法找到有关如何实现它的信息。

0 个答案:

没有答案