使用Livy Rest请求提交的Spark字数统计工作进入Dead状态

时间:2017-03-29 13:21:10

标签: apache-spark cloudera livy

我正在使用Livy运行一个火花字计数程序(运行它没有Livy使用spark-submit工作正常)。在使用Livy Rest请求提交作业时,它将返回作业的ID,如下所示:

curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmaserip:8020/tmp/input-file"]}' -H "Content-Type: application/json" http://sparkmasterip:8998/batches

响应:

{"id":12,"state":"starting","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null},"log":[]}

如果我使用下面的命令检查id为12的作业的状态,它会给出响应说死:

curl  http://sparkmasterip:8998/batches/12

回复

{"id":12,"state":"dead","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null}

由于

1 个答案:

答案 0 :(得分:0)

当我使用群集模式时,我遇到了同样的问题,即livy.spark.master = yarn-cluster。使用livy.spark.master = yarn-client

工作得很好