我正在尝试以yarn客户模式运行pyspark应用程序。带有Hadoop 2.6的本地Spark版本2.3.0。在hadoop 2.6.0上运行的纱线群集,但如果已安装spark 1.6.0和2.3.0。当我指定以前在hdfs中下载的“ spark.yarn.jars”并运行应用程序时。它试图运行执行,但执行失败:
<customviews.FilterView .... />
据我所知,是否在Spark 1.6.0之后被移动了。所以我认为ExecutionLancher的spark-yarn.jar用于spark 2.3.0(从本地spark加载),但是运行spark 1.6.0(安装在纱线主体上)。找不到有关如何指定在纱线宿主中使用哪个Spark版本的信息。