spark，kafka集成问题：对象kafka不是org.apache.spark.streaming的成员

Question

我在IntelliJ IDE中构建spark应用程序（scala）时收到错误。 这是一个简单的应用程序，使用Kafka Stream进行进一步处理。我添加了所有jar，IDE没有显示任何未解析的导入或代码语句。

然而，当我尝试构建工件时，我得到两个错误说明 错误：（13,35）对象kafka不是包的成员

org.apache.spark.streaming
import org.apache.spark.streaming.kafka.KafkaUtils

Error:(35, 60) not found: value KafkaUtils
    val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)

我见过类似的问题，但是大多数人都在提交火花时抱怨这个问题。然而，我落后于那一步，仅仅构建了最终提交给火花的jar文件。最重要的是我使用IntelliJ IDE和一些新的spark和scala;迷失在这里。

以下是IntelliJ错误的快照 IntelliJ Error

谢谢

欧麦

Answer 1

原因是你需要将spark-streaming-kafka-K.version-Sc.version.jar添加到你的pom.xml以及你的spark lib目录。