如何在出现错误时使spark应用程序失败

Question

我想让我的Spark应用程序失败，而我遇到错误（比如我的文件行数小于10，这对我的业务逻辑来说是一个逻辑错误）。我正在做一个System.exit（20），但是当我检查纱线（纱线应用程序-status）中的应用程序状态时，它显示成功，我希望看到失败。我正在使用shell脚本自动化，但这种行为对我来说是个障碍。

请你帮助我，我怎样才能完全失败我的火花应用程序，以便纱线申请状态失败。

注意：我在纱线群集模式下运行spark

谢谢，

Answer 1

如果你的代码是用Java编写的，你可以在stop()上调用方法JavaSparContex，如下所示：

SparkConf sparkConf = new SparkConf(); 
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

javaSparkContext.sc().taskScheduler().stop();