线程中的例外＆＃34;流媒体开始＆＃34; java.lang.NoSuchMethodError：org.apache.kafka.clients.consumer.KafkaConsumer.subscribe（Ljava / util / Collection;）V

Question

当我提交spark应用程序时，收到以下错误：

线程中的例外＆＃34;流媒体开始＆＃34; java.lang.NoSuchMethodError：

  

org.apache.kafka.clients.consumer.KafkaConsumer.subscribe（Ljava / UTIL /收藏;）V

浏览以下网址： http://apache-spark-developers-list.1001551.n3.nabble.com/testing-the-kafka-0-10-connector-td17956.html

设置以下环境变量： SPARK_KAFKA_VERSION=0.10

添加了以下依赖项：

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
  <version>2.1.0.cloudera1</version>
</dependency>

添加了以下jar： 火花流-卡夫卡-0-10-assembly_2.11.jar

我使用的版本：

• 火花2.0.2
• 的Scala-2.11
• 卡夫卡-0.10

一段代码：

val CLASS_NAME = this.getClass
val log = org.apache.log4j.LogManager.getLogger(CLASS_NAME)

非常感谢您的帮助。

Answer 1

尝试设置：

  

导出SPARK_KAFKA_VERSION = 0.10