在Intellij中运行Spark时出错：“对象apache不是包org的成员”

Question

我在Intellij上运行Spark程序并收到以下错误： “object apache不是包org的成员”。

我在代码中使用了这些import语句：

import org.apache.spark.SparkContext  
import org.apache.spark.SparkContext._  
import org.apache.spark.SparkConf

上面的import语句也没有在sbt提示符下运行。 相应的lib似乎缺失，但我不知道如何复制相同的和在哪条路径。

Answer 1

确保在SBT中有这样的条目：

scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.1.0", 
  "org.apache.spark" %% "spark-sql" % "2.1.0" 
)

然后确保IntelliJ通过启用“自动导入”或通过单击SBT面板上的刷新外观按钮手动执行来了解这些库。