使用旧版本运行Apache Spark最新版本的集群

Question

我有Apache Spark 1.5.0的Cloudera CDH 5.2.2集群。

使用带有Dataset API的Apache Spark 2.0有没有办法在这个集群应用程序上运行？ Сluster设置是可取的，不要改变。

我尝试使用maven-shade-plugin运行内置到JAR Spark 2.0.0，但它不起作用（NoSuchMethodException）。

Answer 1

如果要使用Spark 2.0.0功能，则群集应运行Spark 2.0.0。我认为没有解决方法。抛出NoSuchMethodExeception之类的异常，因为您使用的方法的方法或签名已从1.5.0更改为2.0.0，因此群集无法理解它们。