Question

我在YARN客户端模式下运行正常，但在群集模式下，我收到以下错误。

日志内容：错误：无法找到或加载主类org.apache.spark.deploy.yarn.ApplicationMaster LogType结束：stderr

我没有设置spark.yarn.jars或spark.yarn.archive。然而在追踪中，我确实看到火花纱瓶上传了。这里需要任何其他设置吗？

16/11/01 10:49:49 INFO yarn.Client：上传资源文件：/etc/security/keytabs/spark.keytab - ＆gt; HDFS：// beixvz579：8020 /用户/ sifsuser / .sparkStaging / application_1477668405073_0026 / spark.keytab 16/11/01 10:49:50 INFO yarn.Client：上传资源文件：/home/sifsuser/spark200/jars/spark-yarn_2.11-2.0.0.jar - ＆gt; HDFS：// beixvz579：8020 /用户/ sifsuser / .sparkStaging / application_1477668405073_0026 /火花yarn_2.11-2.0.0.jar 16/11/01 10:49:50 INFO yarn.Client：上传资源文件：/home/sifsuser/lib/sparkprogs.jar - ＆gt; HDFS：// beixvz579：8020 /用户/ sifsuser / .sparkStaging / application_1477668405073_0026 / sparkprogs.jar

Answer 1

罐子是spark-yarn_2.11-2.4.0.jar（我的版本），位置是$ SPARK_HOME / jars /

第一步：（将其添加到spark-default.conf中）

 spark.yarn.jars hdfs://hadoop-node1:9000/spark/jars/*

第二步：

 hadoop fs -put $SPARK_HOME/jars/*  hdfs://hadoop-node1:9000/spark/jars/

Answer 2

经过大量调试后，我发现由于缺少ApplicationMaster所依赖的类而引发了此错误。在我的例子中，它是AM类依赖的日志记录罐之一。添加额外的罐子后，我现在可以提交作业了。

Spark YARN群集模式出现此错误“无法找到或加载主类org.apache.spark.deploy.yarn.ApplicationMaster”

2 个答案: