如何在执行启动器中指定Spark版本

时间:2018-11-07 12:34:51

标签: apache-spark pyspark yarn

我正在尝试以yarn客户模式运行pyspark应用程序。带有Hadoop 2.6的本地Spark版本2.3.0。在hadoop 2.6.0上运行的纱线群集,但如果已安装spark 1.6.0和2.3.0。当我指定以前在hdfs中下载的“ spark.yarn.jars”并运行应用程序时。它试图运行执行,但执行失败:

<customviews.FilterView  .... />

据我所知,是否在Spark 1.6.0之后被移动了。所以我认为ExecutionLancher的spark-yarn.jar用于spark 2.3.0(从本地spark加载),但是运行spark 1.6.0(安装在纱线主体上)。找不到有关如何指定在纱线宿主中使用哪个Spark版本的信息。

0 个答案:

没有答案