在intellij

时间:2016-12-12 10:22:44

标签: scala apache-spark intellij-idea

我在Intellij中构建Scala项目,我尝试运行Apache Spark示例。这是我的代码:

package sparkTraining

import org.apache.spark.{SparkConf, SparkContext}

object SimpleApp {
 def main(args: Array[String]) {
   val logFile = "/usr/local/spark/README.md"
   val conf = new SparkConf().setAppName("Simple Application")
   val sc = new SparkContext(conf)
   val logData = sc.textFile(logFile, 2).cache()
   val numAs = logData.filter(line => line.contains("a")).count()
   val numBs = logData.filter(line => line.contains("b")).count()
   println(s"Lines with a: $numAs, Lines with b: $numBs")
   sc.stop()
 }
}

我在Intellij上安装了Scala和SBT插件,这是我的 build.sbt 代码:

name := "sparkTraining"

version := "1.0"

scalaVersion := "2.12.0"

我将所有Saprk 2.0.1罐子添加到项目中。但问题是当我运行这段代码时错误

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1410)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:77)
at sparkTraining.SimpleApp$.main(testScala.scala:9)
at sparkTraining.SimpleApp.main(testScala.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)

我搜索了它,但找不到任何有用的答案。

以下是

  • 我有两个用户, user1 hduser ,我的所有大数据项目如Hadoop,Spark和Scala都在hduser下,所有路径都在hduser .bashrc中设置,而Intellij在root下(在/ opt文件夹中)。
  • 执行此代码时,Spark未在我的计算机上运行。

这两点对执行有什么影响? 我怎样才能解决我的问题? 感谢

1 个答案:

答案 0 :(得分:2)

我猜是因为scala版本不兼容,官方文档告诉你需要使用兼容的Scala版本(2.11.x)。 official Documents