我们需要使用Kafka消费者的commitAsync
API。它适用于Kafka 0.9和0.10版本。
可以使用Kafka 0.10的Spark streaming 1.6版本吗?
根据我阅读的博客和网站,Kafka 0.10仅由spark streaming(Spark 2.1.X)版本使用/支持
Kafka本身指向以下链接: https://blog.cloudera.com/blog/2017/06/offset-management-for-apache-kafka-with-apache-spark-streaming/