Java spark示例运行错误，出现错误：java.lang.NoSuchMethodError：scala.Predef $。$ scope（）Lscala / xml / TopScope $

Question

我在spark maven中使用Intelligent IDEA支持编写了一个示例。 spark版本为2.0.0，hadoop版本为2.7.3，scala版本为2.11.8。系统和IDE中的环境是相同的版本。然后应用程序运行错误：

  

线程中的异常＆＃34; main＆＃34; java.lang.NoSuchMethodError：   scala.Predef$.$scope()Lscala/xml/TopScope$;在   org.apache.spark.ui.jobs.StagePage。（StagePage.scala：44）at   org.apache.spark.ui.jobs.StagesTab。（StagesTab.scala：34）at   org.apache.spark.ui.SparkUI。（SparkUI.scala：62）at   org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) at   org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) at   org.apache.spark.SparkContext.<init>(SparkContext.scala:443) at   org.apache.spark.SparkContext.<init>(SparkContext.scala:149) at   org.apache.spark.SparkContext.<init>(SparkContext.scala:185) at   org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92)     在com.spark.test.WordCountTest.main(WordCountTest.java:25) at   sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at   sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)     在   sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     在java.lang.reflect.Method.invoke(Method.java:606) at   com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Answer 1

使用scala 2.10构建Spark 2.0.0，您必须添加scala 2.10作为框架支持

Answer 2

使用pom.xml更新scala 2.11.8。
有关版本兼容性，请参见spark下载文档。