使用Yarn Cluster在Spark中提交作业

Question

我无法在纱线群集中提交作业。yarn-client选项下的作业正常运行。将其提交到yarn-cluster时，只会多次显示此日志。

Application report for application_1421828570504_0002 (state: ACCEPTED) 

并因以下异常而失败。

diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 
org.apache.hadoop.util.Shell$ExitCodeException:

Answer 1

您应该查看应用程序的日志：

> yarn logs --applicationId application_1421828570504_0002

这将产生火花容器内实际运行的一些调试信息。 由于它是在本地运行但不在群集上运行，因此我的猜测是缺少SparkContext定义。请查看我的answer to this question进行修复。