标签: apache-spark apache-kafka offset messages
我使用Spark v2.0.2与Scala 2.11和Spark Streamming(createDirectStream方法)与Kafka v0.8.2。
我正在使用来自Kafka主题的消息,并且有办法为创建的RDD打印偏移范围。但是,我想知道是否有办法访问当前由Spark处理的每条消息的偏移量,因此我可以将最新处理的消息偏移ID提交到例如zookeeper或定期将最新处理的消息ID保存到DB或文件中?
我已阅读Spark文档但无法找到有关如何实现它的信息。