我们有一个使用reduceByKeyAndWindow
的流媒体工作。我们希望这与初始状态一起工作。这个想法是为了避免在重新启动流式传输作业时丢失状态,还要考虑窗口的历史数据。但是reduceByKeyAndWindow
并不接受updateStateByKey
之类的任何initialRDD
参数。
计划是扩展reduceByKeyAndWindow
以接受initalRDDs
参数,以便DStream以这些RDD作为generatedRDD
的初始值而不是空映射开始。但是generatedRDD
是一个私有变量,所以我对如何继续执行该计划感到困惑。