Spark结构化流的异常处理

时间:2020-07-02 10:11:54

标签: apache-spark pyspark apache-kafka spark-streaming spark-structured-streaming

我正在使用Spark结构化流从kafka读取数据并将数据写入kafka,由于某些问题,我需要使用foreach批处理将数据写入kafka。

因此,为了处理与来自kafka的读写相关的代码异常,我打算使用异常处理。

就像这里提到的Spark Structured Streaming exception handling,我应该在foreach批处理函数中使用try catch块,还是可以在start()方法的返回对象上直接使用它?

谢谢

0 个答案:

没有答案