在yarn-standalone模式下运行spark-class,并在src文件系统上更改文件时出错

时间:2014-03-31 06:28:03

标签: apache-spark yarn

我刚开始使用Spark 0.9在纱线独立模式下编程。我运行程序使用这个:

  

spark-class org.apache.spark.deploy.yarn.Client --jar $ SPARK_HOME / count.jar --class WordCountJava --args yarn-standalone --args hdfs://10.1.1.33:9000 / user /root/test.txt --args hdfs://10.1.1.33:9000 / out / ik --num-workers 3 --master-memory 4g --worker-memory 2g --worker-cores 1

如果我以 root帐户登录,该程序可以运行良好。但如果我以“luzy”登录普通帐户,则程序运行失败,并出现如下错误:

  

appDiagnostics:应用程序application_1395994477084_0040失败2次,因为AM容器因appattempt_1395994477084_0040_000002退出,退出时使用exitCode:-1000,原因是:java.io.IOException:资源文件:/usr/app/spark-0.9.0/count.jar已更改src文件系统(预计1395762200000,原为1395993910000   这次尝试失败了。申请失败了。

我该怎么做才能解决它?

0 个答案:

没有答案