当我提交Spark Structured Streaming应用程序时,我收到以下错误:
java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)
Spark版本 2.1.0使用 Scala版本2.11.1 ,OpenJDK 64位服务器VM,1.8.0_151
Kafka版本: kafka_2.12-0.10.2.1( Scala版本2.12 ,Kafka版本0.10.2.1)
我已经收录了spark-sql-kafka-0-10_2.11-2.1.0.jar& kafka-clients-0.10.2.1.jar文件到spark.driver.extraClassPath& spark.executor.extraClassPath
任何人都可以帮我找出我收到错误的原因吗?
是因为Spark 2.1.0(使用Scala版本2.11.1)和Kafka 0.10.2.1(使用Scala版本2.12)上的不同Scala版本?如果它是如何解决它而不安装Kafka 0.10.2.1(使用Scala版本2.11)?