Spark和Java:错误ClassCastException

时间:2017-06-01 21:24:42

标签: java maven hadoop apache-spark

我正在遵循这个例子 https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 当我尝试跑步时,我收到了这条消息:

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional

我不知道如何修复它,因为我是使用Spark的新手。 谢谢!! 有什么建议吗?

1 个答案:

答案 0 :(得分:1)

这是因为您使用Spark 1.x编译代码,但在Spark 2.x群集中运行您的应用程序。您可以更新pom.xml以使用相同版本的Spark群集,并且可能还需要更新您的代码,因为2.x和1.x不兼容。