Apache Kafka-Exception:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / List;)

时间:2018-03-13 01:45:47

标签: apache-spark apache-kafka

当我提交Spark Structured Streaming应用程序时,我收到以下错误:

java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)

Spark版本 2.1.0使用 Scala版本2.11.1 ,OpenJDK 64位服务器VM,1.8.0_151

Kafka版本: kafka_2.12-0.10.2.1( Scala版本2.12 ,Kafka版本0.10.2.1)

我已经收录了spark-sql-kafka-0-10_2.11-2.1.0.jar& kafka-clients-0.10.2.1.jar文件到spark.driver.extraClassPath& spark.executor.extraClassPath

任何人都可以帮我找出我收到错误的原因吗?

是因为Spark 2.1.0(使用Scala版本2.11.1)和Kafka 0.10.2.1(使用Scala版本2.12)上的不同Scala版本?如果它是如何解决它而不安装Kafka 0.10.2.1(使用Scala版本2.11)?

0 个答案:

没有答案