点燃NoSuchMethodError

Question

我正在使用spark 3.0.0预览版和Ignite 2.7.6和jre 1.7的jdk 11.0，并尝试集成ignite spark但在运行时低于错误。每次调用点火函数都会失败，并出现相同的错误..any-help，不胜感激。我正在使用本地ignite服务器和默认配置

JavaSparkContext jsc = new JavaSparkContext(sc);
JavaIgniteContext igniteContext1 
=new JavaIgniteContext(jsc, new 
IgniteConfigProvider());
return ignite.configuration();

Exception in thread "main" 
java.lang.NoSuchMethodError 
org.apache.spark.sql.SQLContext.<init>(Lorg/apache/spark/SparkContext;)
    at org.apache.ignite.spark.IgniteContext.<init>(IgniteContext.scala:113)
    at org.apache.ignite.spark.JavaIgniteContext.<init>(JavaIgnit`enter code here`eContext.scala:43)
    at org.apache.ignite.spark.JavaIgniteContext.<init>(JavaIgniteContext.scala:46)
    at utils.MemberCoverageFullLocal.main(MemberCoverageFullLocal.java:200)

Answer 1

Apache Ignite 2.7.6支持与Apache Spark 2.3集成。在2.8版中还添加了对Apache Spark 2.4的支持。

可能会在下一版本中添加对Apache Spark 3.0.0的支持。