我正在为Java中的spark编写辅助排序类。我正在遵循的代码,让我实例化一个JavaSparkContext
The method close() is undefined for JavaSparkContext
在课程结束时,我使用.close()关闭Java Spark Context。方法,在Java Spark Context API中,但我收到此错误。
abcdefkkkkk
我有正确的导入,导入org.apache.spark.api.java。*;
答案 0 :(得分:0)
我还没有用Java做Spark,但看起来你使用的是过时的jar文件,早于Java 7的java --module-path modules-dir:ivy-2.4.0.jar -m my.module/my.Main
介绍。
我认为最简单的方法是使用像Gradle或Maven这样的构建工具来获取Spark依赖项。正如documentation建议的那样,告诉你的构建工具抓住这个版本的Spark:
AutoCloseable
请注意,这使用Spark v.2.1.0而不是您使用和的非常旧的1.0.0,您也需要Scala 2.11。您不必在Scala中编写代码,但它必须位于类路径中。
更新后的内容,您应该可以关闭groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.1.0
了。如果您在设置方面遇到问题,请发布其他问题。