正常停止Spark批处理作业

Question

我正在处理spark作业，该作业会在表中更新有关其执行的状态，现在，如果该表已经包含成功的执行，则需要正常停止Spark作业。

我尝试做

  

System.exit（0）

但工作因

而失败

  

错误：在报告最终状态之前调用了关闭挂钩。

正常退出Spark作业的正确步骤是什么。

Answer 1

您只需要在退出应用程序之前调用sc.stop()（在SparkContext上）。

另请参阅similar question on pyspark。