了解Kakfa结构化流中的检查点

时间:2019-03-11 10:36:56

标签: apache-spark spark-streaming-kafka

在这篇(https://dzone.com/articles/what-are-spark-checkpoints-on-dataframes)文章中,它说检查点用于“在执行其他操作之前冻结数据帧的内容”。

但是,在这篇(http://blog.madhukaraphatak.com/introduction-to-spark-structured-streaming-part-7/)文章中,它说检查点用于从故障中恢复。从中我可以得出结论,如果spark正在处理kafka主题并且spark崩溃,则在重新启动后它将从上次检查点的偏移量开始处理。这句话正确吗?

spark中有2个不同的检查点概念吗? 因为我无法调和2。

0 个答案:

没有答案