在YARN

时间:2016-01-12 08:15:54

标签: python apache-spark yarn cloudera-manager

我正在尝试利用群集中的所有资源来运行Spark作业。我在所有节点上都安装了Cloudera Manager。这是我用来提交作业的命令。

spark-submit --master yarn 
             --deploy-mode cluster 
             file:///[spark python file]
             file://[app argument 1]
             file://[app argument 2]

在执行过程中,我收到以下错误:

diagnostics: Application application_1450777964379_0027 failed 2 times due to AM Container for appattempt_1450777964379_0027_000002 exited with  exitCode: 1

任何想法如何解决它将非常感激。

编辑1 WEB UI无法访问安装Spark的机器我尝试下载源代码并阅读有关异常的更多信息。

------------------------------------------------------------
| Job | Description                                        | 
------------------------------------------------------------
| 0   | saveAsTextFile at NativeMethodAccessorImpl.java:-2 | 
------------------------------------------------------------

1 个答案:

答案 0 :(得分:0)

取自here

  

如果路径以file://或hdfs://开头,则路径变为ile://或dfs://。如果路径是绝对路径,则删除第一个斜杠。

     

没有特别的理由,需要修复。

尝试使用绝对路径而不是file://