在bash脚本中执行时捕获Yarn作业ID

Question

在验证某些条件后，我实现了一个shell脚本来运行一个yarn作业。我想在shell脚本使用其jobid触发后检查纱线作业状态/进度。有关如何做到的任何想法？

由于我无法从PID中获得帮助，我有点卡住了。

提前致谢

Answer 1

最简单的将其保存在HDFS中，您可以随时参考：

    val hadoopConf = sc.hadoopConfiguration
    val fs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
    fs.create(new Path("PathWithFileName"), true).writeBytes(sc.applicationId)