关闭火花结构优雅的流媒体

Question

有一种方法可以通过将属性spark.streaming.stopGracefullyOnShutdown设置为true来启用火花流的正常关闭，然后使用kill -SIGTERM命令终止进程。但是我没有看到这样的选项可用于结构化流（SQLContext.scala）。

结构化流媒体中的关机流程是否有所不同？或者它还没有实现呢？

Answer 1

此功能尚未实施。但火花结构化蒸汽的预先记录声称可以毫无问题地恢复状态和偏移。

Answer 2

此功能尚未实现，如果在批处理运行时从资源管理器中终止作业，它也会为您提供重复项。

Answer 3

试试这个 github 示例代码。

https://github.com/kali786516/FraudDetection/blob/master/src/main/scala/com/datamantra/spark/jobs/RealTimeFraudDetection/StructuredStreamingFraudDetection.scala#L76

https://github.com/kali786516/FraudDetection/blob/master/src/main/scala/com/datamantra/spark/GracefulShutdown.scala#L26