我应该如何调试Spark Streaming作业过程?

时间:2018-07-04 23:25:48

标签: scala spark-streaming

我有一个scala spark流作业,有一个不可避免的例外,即使我在可能引起的异常代码周围打印日志,但是这些日志也没有意义,因为它们在流逻辑中,例如,以下代码是:

val parseAction = filterActions.flatMap(record => ParseOperation.parseMatch(categoryMap, record))

打印日志位于parseMatch函数中,但它们无法在从属节点中打印,因此调试困难,如何调试火花流作业?

0 个答案:

没有答案