在使用纱线运行的scala火花作业中，如何使作业失败，使纱线显示失败状态

Question

我的scala spark job代码中有一个简单的if语句，如果为false我想停止作业并将其标记为失败。我希望纱线UI显示状态为失败的火花作业，但到目前为止我所做的一切都已停止了作业，但只显示在纱线UI上成功完成。

    if(someBoolen) {
        //context.clearAllJobs()
        //System.exit(-1)
        //etc, nothing so far, stops the job and show as failed in the yarn UI
    }

任何帮助都会很棒。

Answer 1

抛出异常（而不是捕获异常）将导致进程失败。

if(someBoolen) {
    throw new Exception("Job failed");
}