标签： apache-spark jms spark-streaming yarn
我有一个火花流应用程序在纱线上运行，消耗来自jms源。我启用了检查点和WAL，以确保零数据丢失。 但是，当我突然杀死我的应用程序并重新启动它时，有时它会从WAL恢复数据，但有时它不会！在所有情况下，我都可以在HDFS上看到WAL正确写入。
有人可以解释为什么我的WAL在重启时有时会被忽略吗？火花决定从WAL恢复与否的条件是什么？
感谢。