在加载类文件时检测到缺少或无效的依赖项 'KafkaUtils.class'。无法在软件包中访问术语kafka, 因为它(或其依赖项)丢失了。检查你的构建 缺少或冲突的依赖项的定义。 (重新运行
-Ylog-classpath
中查看有问题的类路径。)完整重建 如果针对不兼容的版本编译了'KafkaUtils.class',可能会有所帮助 的版本。 SparkKafkaDemo未知的Scala问题
我正在克服日食中的错误。我正在使用Scala 2.11.8和Spark 2.3.0,Kafka 2.11-0.9.0.0添加了Jars:hadoop-common-2.6.5,spark-core_2.11-2.3.0,spark-streaming_2.11-2.3.0, spark-streaming-kafka_2.11-1.4.0
我的代码:
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.kafka.KafkaUtils
object sparkkafka {
def main(args: Array[String]) {
val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
val ssc = new StreamingContext(sparkConf, Seconds(2))
val lines = KafkaUtils.createStream(ssc, "localhost:2181", "spark-streaming-consumer-group", Map("customer" -> 5))
lines.print()
ssc.start()
ssc.awaitTermination()
}
}