如何使用APPLICATION ID提交YARN作业

时间:2018-05-31 06:34:28

标签: apache-spark hadoop yarn

我想知道YARN CLI是否有可能通过使用从上一次执行生成的APPLICATION_ID重新提交YARN应用程序。

示例:

/opt/mapr/spark/spark-2.1.0/bin/spark-submit --num-executors 5 --executor-memory 2G --executor-cores 2  --master yarn --deploy-mode cluster --files /opt/mapr/hive/hive-2.1/conf/hive-site.xml --class com.cisco.sdp.cdx.processing.DenormScheduler JSONDenormJob-0.0.1-SNAPSHOT-jar-with-dependencies.jar

当我提交上述作业时,YARN会创建一个APPLICATION_ID(例如:application_1522909218432_0485)。有没有办法使用命令行或JAVA API中的APPLICATION_ID重新提交作业相同的作业。

喜欢yarn application -submit <APPLICATION_ID>。从帮助中我可以看到有一个选项-movetoqueue <Application ID>。我没有看到任何重新提交的选项。只是试图探索和理解不提供重新提交工作选项的原因。

1 个答案:

答案 0 :(得分:0)

从API角度来看,YARN没有此功能。应用程序ID生成为对createApplication调用的响应,该调用不接收任何参数。