如何在Scala中的两个DStream之间执行压缩？

Question

我有两个窗口dstream，我想像RDD中的普通压缩一样压缩。

注意：主要目标是计算窗口dstream的平均值和stdv，以防有更好的计算方法。

Answer 1

我使用DStream的transformWith来使用这个rdd操作，这解决了我的问题。

示例：

  valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}