对于JavaSparkContext，未定义Close方法

Question

我正在为Java中的spark编写辅助排序类。我正在遵循的代码，让我实例化一个JavaSparkContext

The method close() is undefined for JavaSparkContext

在课程结束时，我使用.close（）关闭Java Spark Context。方法，在Java Spark Context API中，但我收到此错误。

abcdefkkkkk

我有正确的导入，导入org.apache.spark.api.java。*;

Answer 1

我还没有用Java做Spark，但看起来你使用的是过时的jar文件，早于Java 7的java --module-path modules-dir:ivy-2.4.0.jar -m my.module/my.Main 介绍。

我认为最简单的方法是使用像Gradle或Maven这样的构建工具来获取Spark依赖项。正如documentation建议的那样，告诉你的构建工具抓住这个版本的Spark：

AutoCloseable

请注意，这使用Spark v.2.1.0而不是您使用和的非常旧的1.0.0，您也需要Scala 2.11。您不必在Scala中编写代码，但它必须位于类路径中。

更新后的内容，您应该可以关闭groupId = org.apache.spark artifactId = spark-core_2.11 version = 2.1.0 了。如果您在设置方面遇到问题，请发布其他问题。