如何在其中一个作业失败时关闭/终止Spark Streaming应用程序

Question

我正在运行Spark流媒体应用程序。由于某些运行时异常，其中一个作业失败的次数很少。 Spark将工作标记为失败，并继续处理下一个流批处理。如果其中一个作业失败，是否有一个参数可以设置为通知Spark以终止应用程序（不处理下一个流批处理）？我在独立群集模式下使用Spark 1.4.1。

Answer 1

在您的计划中，您可以：

1. 抛出一个异常并将其冒泡到主体，围绕主体进行试试
2. 将System.exit(0)放在您想要的位置。如果您的shutDownGracefully属性设置为true，它将正常关闭spark进程并结束程序。 Here is a reference