spark-streaming-kafka-0-8和spark-streaming-kafka-0-10

Question

我是大数据领域的新手，我需要制作一个演示，该演示使用Spark Stream从Kafka主题流式传输数据，然后进行一些聚合和过滤，然后保存该数据。我使用的是spark 2.3，我需要知道Spark流Kafka的哪个版本必须使用spark-2.3文档中的0.8或10->

https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html提到

已弃用0.8，但稳定了10，但在stream-kafka-0-10-integration->

https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html

我使用Kafka 2.1提到0.8是稳定的，而10是实验性的。

所以我必须使用其中的

Answer 1

版本0.8是稳定的，但kafka没有为此version提供技术支持。 我认为，您应该继续使用最新版本。

Answer 2

  

我正在使用Kafka 2.1。

然后，您应该使用Spark的0.10 Kafka API，主要是因为该页面上提到了拥有新的Consumer API的原因。

如果您升级到Spark 2.4，则该库也已升级为使用Kafka 2.0库，但它们的名称仍为0.10-SPARK-18057