Spark Streaming作业异常处理

Question

在我的spark streaming（Kafka Consumer）代码中有一些错误。我实现了异常处理，但从未捕获过。我试过检查过＆amp; amp;未经检查的例外。

我的代码在执行程序中运行。如何在执行程序而不是驱动程序中运行异常时捕获异常？

请建议我。

Answer 1

Spark是一个并行框架。即使您在代码中添加try catch代码，但异常也会在其他线程中引发。因此，您的代码无法捕获任何异常。