在Spark Streaming中失败时重新加载广播变量

Question

我想将数据缓存在广播变量中。如果该值不在广播中，则必须在该时刻或下一个微批处理中重新加载/刷新广播，这并不重要，但必须在下一次迭代中使用。

我的想法是使用一个累加器，并在发生这种情况时添加它，并且知道我必须刷新广播变量，之后，我可以重置累加器。看起来不太干净，我不知道它是否可以工作。

有什么办法吗？

我已经阅读了该线程（How can I update a broadcast variable in spark streaming?），但是它并不相同，因为缓存经常被重新加载。