使用Kafka 0.10的CommitAsync API进行Spark流式传输(Spark 1.6)

时间:2018-04-23 13:18:07

标签: apache-spark apache-kafka spark-streaming spark-streaming-kafka

我们需要使用Kafka消费者的commitAsync API。它适用于Kafka 0.9和0.10版本。

可以使用Kafka 0.10的Spark streaming 1.6版本吗?

根据我阅读的博客和网站,Kafka 0.10仅由spark streaming(Spark 2.1.X)版本使用/支持

Kafka本身指向以下链接: https://blog.cloudera.com/blog/2017/06/offset-management-for-apache-kafka-with-apache-spark-streaming/

0 个答案:

没有答案