Question

首先请原谅新手问题，因为我正试图在intellij中学习spark和scala。

我在下面的依赖项中添加了我的build.sbt，它编译得很好。

name := "learning project"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0"

然而，当我去创建我的scala类时以及当我尝试导入

时

import org.apache.spark.SparkConf
import org.apache.spark._

它向我显示错误，指出未找到符号。

我检查我的库以查找我的项目和sbt：org.apache.spark：spark-core_2.11：2.1.0：jar文件就在那里。

因此我不确定我做错了什么

Answer 1

尝试sbt clean，然后删除.idea文件夹并重新导入项目

另外，试试这段代码，

import org.apache.spark._

object WordCount {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("Simple Application")
      .setMaster("local")
    val sc = new SparkContext(conf)
    val lines = sc.textFile("src/main/resources/word_count.text").cache()
    val wordCounts = lines.flatMap(line => line.split(" "))
      .map(word => (word, 1))
      .reduceByKey((a, b) => a + b)

    for ((word, count) <- wordCounts)
      println(word + " : " + count)
    sc.stop()
  }
}

我希望澄清事情:)

Spark Conf Scala

1 个答案: