标签: apache-spark spark-structured-streaming
我在Spark流中使用了检查点,即使我们为多个流指定了相同的路径,它也会为每个检查点创建单独的文件夹。我们正在尝试使用Spark结构化流,但我发现当为多个流指定相同的检查点路径时,检查点确实仅创建了一组文件夹(提交,偏移,源),而它却在Spark流中用于创建单独的自动文件夹。
我是在做错什么还是预期的行为(结构化流的一组文件夹(提交,偏移,源))。如果有多个流,我们是否必须为每个流指定单独的路径?