如何判断Spark作业是否成功？

Question

我想在Spark工作完成后做一些清理工作，我要做的工作取决于工作是否成功。

那么我在哪里可以得到这份工作的结果呢？

我已经尝试了SparkListener，它在作业成功时工作正常，但是如果作业失败，似乎没有调用监听器。

Answer 1

您可以使用Spark HistoryServer的REST API来检查作业的状态 在这里，您可以找到所需的所有信息：
https://spark.apache.org/docs/latest/monitoring.html