如何以编程方式停止Spark作业执行

Question

如果我想以编程方式在例外或特定用例的情况下从spark作业中停止我的Spark应用程序，那么如何从Java代码中实现这一点。 我试图调用JavaSparkContext.close（），但是工作似乎仍在运行。

Answer 1

您可以使用以下方法取消正在运行的火花作业：

cancelJobGroup(String group Id) - 取消指定组的活动作业 cancelAllJobs() - 取消已安排或正在运行的所有作业。

有关详情，请参阅API doc