Question

所以我遇到的问题是我似乎无法创建一个sparkcontext。我不明白为什么不。

这是我的代码：

import org.apache.spark.{SparkConf, SparkContext}

object spark_test{
 def main(args: Array[String]): Unit = {
 val conf = new SparkConf().setAppName("Datasets Test").setMaster("local")
 val sc= new SparkContext(conf)
 println(sc)
 }
}

以下是我得到的结果：

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
at org.apache.spark.SparkConf.getAkkaConf(SparkConf.scala:203)
at org.apache.spark.util.AkkaUtils$.createActorSystem(AkkaUtils.scala:68)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:126)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:139)
at spark_test$.main(test.scala:6)
at spark_test.main(test.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)

有什么想法吗？

Answer 1

你的scala版本太新了，spark-core版本太旧了。我正在使用scala 2.11.8和spark-core_2.11：2.0.1，你可以尝试一下！

Spark没有加载，这是什么？

1 个答案: