检查Spark节点故障

时间:2016-09-02 00:08:05

标签: spark-streaming checkpointing

我已经开发了一个Spark Streaming应用程序(它也有内部状态),带有检查指向和容错功能。当我退出应用程序并重新重新启动它时,这正在进行...所以每件事情(状态。 。)加载好,

我想知道为什么在群集未命中的情况下,它是否有效?因为我猜Spark将检查点保存为内存位置的指针...

1 个答案:

答案 0 :(得分:0)

是的,它应该有效,因为在集群之后,状态会重新获得。