对于JavaSparkContext,未定义Close方法

时间:2017-04-23 15:29:45

标签: java apache-spark undefined

我正在为Java中的spark编写辅助排序类。我正在遵循的代码,让我实例化一个JavaSparkContext

The method close() is undefined for JavaSparkContext

在课程结束时,我使用.close()关闭Java Spark Context。方法,在Java Spark Context API中,但我收到此错误。

abcdefkkkkk

我有正确的导入,导入org.apache.spark.api.java。*;

1 个答案:

答案 0 :(得分:0)

我还没有用Java做Spark,但看起来你使用的是过时的jar文件,早于Java 7的java --module-path modules-dir:ivy-2.4.0.jar -m my.module/my.Main 介绍。

我认为最简单的方法是使用像Gradle或Maven这样的构建工具来获取Spark依赖项。正如documentation建议的那样,告诉你的构建工具抓住这个版本的Spark:

AutoCloseable

请注意,这使用Spark v.2.1.0而不是您使用的非常旧的1.0.0,您也需要Scala 2.11。您不必在Scala中编写代码,但它必须位于类路径中。

更新后的内容,您应该可以关闭groupId = org.apache.spark artifactId = spark-core_2.11 version = 2.1.0 了。如果您在设置方面遇到问题,请发布其他问题。