生成的DStream中的reduceByKeyAndWindow

时间:2015-06-19 15:48:15

标签: window reduce spark-streaming rdd dstream

我目前正在开展一项小型火花工作,以便从DStream计算库存相关矩阵。

从DStream [(时间,引用)],我需要在计算相关性之前(考虑rdds的所有引用)在多个rdds中按时间(长)聚合引号(double)

dstream.reduceByKeyAndWindow{./*aggregate quotes in Vectors*/..} 
       .forEachRDD {rdd => Statistics.corr(RDD[Vector])}

在我看来,如果生成的dstream(来自reduceByKeyAndWindow)仅包含带有所有聚合引号的1个rdd,这可能是一个解决方案。

但我不确定。如何在reduceByKeyAndWindow之后分发数据?有没有办法在dstream中合并rdds?

0 个答案:

没有答案