火花如何保存流状态?

时间:2018-07-05 08:45:22

标签: apache-spark spark-streaming

我想为我的州创建一个类来引发有状态流,并且它包含许多字段,例如ZonedDatetimeArrayBuffer以及一些scala函数。我做了一个小测试,它可以被添加到状态中。但是我想知道在检查点期间,火花如何保存该对象?在序列化/反序列化此对象时会遇到麻烦吗?我可以提供一些自定义的序列化/反序列化方法,例如使用Avro4s吗?

0 个答案:

没有答案