标签： apache-spark apache-kafka spark-streaming spark-checkpoint
我正在从Kafka传输数据，并且还在我的应用程序中维护状态（通过使用updateStateByKey），因此我强制要求检查我的数据。这很有效。
除了来自kafka的数据之外，我还使用一些局部变量来保存总记录等信息，以及特定于我的应用程序的一些信息，并根据我们从Kafka收到的数据进行更改。
所以我想要保留这些信息，以便在发生驱动程序故障时进行恢复。 有没有办法检查这些额外的数据？