标签: apache-spark spark-streaming dstream
我有两个窗口dstream,我想像RDD中的普通压缩一样压缩。
注意:主要目标是计算窗口dstream的平均值和stdv,以防有更好的计算方法。
答案 0 :(得分:3)
我使用DStream的transformWith来使用这个rdd操作,这解决了我的问题。
示例:
valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}