Question

我正在尝试使用带有Maven的1.6.0的Spark示例

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>1.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>1.6.0</version>
    </dependency>

这是代码

JavaSparkContext jsc = new JavaSparkContext(conf);
SparkContext sc = JavaSparkContext.toSparkContext(jsc);
SQLContext sqlContext = new SQLContext(jsc);

线程中的异常＆＃34; main＆＃34; java.lang.NoSuchMethodError：org.apache.spark.SparkContext.ui（）Lscala / Option; at org.apache.spark.sql.SQLContext $ .createListenerAndUI（SQLContext.scala：1369）在org.apache.spark.sql.SQLContext。（SQLContext.scala：77）在org.apache.spark.sql.SQLContext。（SQLContext.scala：79）在KmeansPixelsJava.main（KmeansPixelsJava.java:24）

有人可以帮助我解决我所缺少的问题吗？

谢谢，仙人

Answer 1

在针对不同版本的Spark启动应用程序时，有时会发生此异常。确保使用与Maven依赖项中相同版本的Spark提交作业。（会使这个评论，但我没有足够的代表）

更多info

NoSuchMethodError：org.apache.spark.SparkContext.ui（）Lscala / Option

1 个答案: