Scala Apache Spark简单应用程序

时间:2016-12-11 17:05:44

标签: scala apache-spark sbt

我是apache spark的新手,我正在尝试启动一个简单的scala spark应用程序。但我有问题。它说Object apache不是包org的成员。

我的应用程序代码是:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md"
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    sc.stop()
  }
}

我的build.sbt文件是:

name := "Simple Project"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

我从命令行运行sbt package并下载了所有必需的jar。

感谢您的帮助。

0 个答案:

没有答案