Spark Streaming:我可以处理" windows"基于元素的排序?

时间:2015-12-12 12:56:54

标签: apache-spark spark-streaming

我是Spark Streaming的新手,正在评估它,来自"普通的Hadoop"和Spark批处理。在我的管道中,我有一个DStream,在每个分区中,保证元素被排序,即,对于每个元素E(i),保证E(i) >= E(i-k)

是否可以以" windows"的形式处理这样的流。这样每个"窗口"包含滚动最小值和最大值之间的元素?例如,如果DStream包含带时间戳的测量值,并且保证时间戳以升序显示,那么我可以按小时对每批值应用计算?理想的是创建一个DStream,里面的RDD以这种方式构建。

这是否已经可行,或者如何做到这一点?

0 个答案:

没有答案