Mark Spark Job在纱线UI中失败

Question

该应用程序是复杂生态系统的一部分，我们使用Yarn Rest Api跟踪所有工作的状态。

现在针对某些特定的业务场景，我们需要将Spark Job标记为失败，但我已陷入陷阱状态，因为我在spark job Error / Exception或System.exit（123）中引发的问题并不重要工作被标记为完成纱线，最终状态为成功。

使用spark-submit使用jar来触发spark作业。

connect

我在火花工作中尝试过的事情：

• 抛出新错误（＆＃34; Whatever＆＃34;）
• 抛出新的例外（＆＃34; Whatever＆＃34;）
• System.exit（123）
• sys.exit（123）

希望有人能告诉我如何将火花作业标记为纱线UI失败。

Answer 1

别介意。 Yarn的火花应用报告无论如何都是不稳定的，从Jira的多个漏洞中可以看出，这表明Yarn有时将成功的火花作业标记为失败，反之亦然。

我最终制作了自己的数据库表来跟踪最终状态（错误，成功等），这是根据条件从火花作业更新的。