通过spark作业服务器提交spark作业。如何在不连续轮询作业服务器的getJobs / <jobid> api的情况下了解完成状态

时间:2019-03-14 12:05:55

标签: apache-spark spark-jobserver

我写了一份扩展Spark作业服务器并覆盖run和validate方法的作业。 我通过调用此作业服务器的Web服务,通​​过我的Scala Play应用程序的控制器提交此作业。 作业结束后,我需要知道作业失败/完成的状态,并且我也不想使用轮询机制。

我可以改为从作业的run方法内部调用应用程序的Web服务之一,以更新此作业的最后一步吗?

或者还有其他方法可以实现这一目标吗?

0 个答案:

没有答案