具有初始状态

时间:2015-07-10 09:11:35

标签: scala apache-spark spark-streaming

我们有一个使用reduceByKeyAndWindow的流媒体工作。我们希望这与初始状态一起工作。这个想法是为了避免在重新启动流式传输作业时丢失状态,还要考虑窗口的历史数据。但是reduceByKeyAndWindow并不接受updateStateByKey之类的任何initialRDD参数。

计划是扩展reduceByKeyAndWindow以接受initalRDDs参数,以便DStream以这些RDD作为generatedRDD的初始值而不是空映射开始。但是generatedRDD是一个私有变量,所以我对如何继续执行该计划感到困惑。

0 个答案:

没有答案