Spark结构化流中的检查点

时间:2019-01-14 02:42:49

标签: apache-spark spark-structured-streaming

我在Spark流中使用了检查点,即使我们为多个流指定了相同的路径,它也会为每个检查点创建单独的文件夹。我们正在尝试使用Spark结构化流,但我发现当为多个流指定相同的检查点路径时,检查点确实仅创建了一组文件夹(提交,偏移,源),而它却在Spark流中用于创建单独的自动文件夹。

我是在做错什么还是预期的行为(结构化流的一组文件夹(提交,偏移,源))。如果有多个流,我们是否必须为每个流指定单独的路径?

0 个答案:

没有答案