如何判断spark-submit是否成功运行?

时间:2017-08-10 18:04:36

标签: apache-spark

有没有办法判断它是否在没有任何例外情况下运行或完成了工作?我发现的唯一想法是https://github.com/apache/spark/pull/1788

1 个答案:

答案 0 :(得分:0)

您可以使用Spark RESTful API查询您的申请状态:

  1. Spark History Server的基本URL是:http://:18080 / api / v1
  2. 使用/applications
  3. 列出应用程序
  4. 检查应用程序的状态
  5. 如果名称不同,则很容易检查您的应用程序是什么应用程序,即使在共享群集上也是如此。您还可以记录sparkContext.applicationId并直接在调用Web服务

    时使用它