加载类文件'KafkaUtils.class'

时间:2018-09-10 10:34:48

标签: scala apache-spark apache-kafka

  

在加载类文件时检测到缺少或无效的依赖项   'KafkaUtils.class'。无法在软件包中访问术语kafka,   因为它(或其依赖项)丢失了。检查你的构建   缺少或冲突的依赖项的定义。 (重新运行   -Ylog-classpath中查看有问题的类路径。)完整重建   如果针对不兼容的版本编译了'KafkaUtils.class',可能会有所帮助   的版本。 SparkKafkaDemo未知的Scala问题

我正在克服日食中的错误。我正在使用Scala 2.11.8和Spark 2.3.0,Kafka 2.11-0.9.0.0添加了Jars:hadoop-common-2.6.5,spark-core_2.11-2.3.0,spark-streaming_2.11-2.3.0, spark-streaming-kafka_2.11-1.4.0

我的代码:

import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.kafka.KafkaUtils

object sparkkafka {

def main(args: Array[String]) {
val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
val ssc = new StreamingContext(sparkConf, Seconds(2))

val lines = KafkaUtils.createStream(ssc, "localhost:2181", "spark-streaming-consumer-group", Map("customer" -> 5))
lines.print()

ssc.start()
ssc.awaitTermination()
}
}

0 个答案:

没有答案