Spark 2.0流 - 分区窗口

时间:2016-09-16 15:58:19

标签: apache-spark streaming spark-streaming

我想知道Spark 2.0流媒体库是否支持分区窗口。例如,给定流,我想按键(可以是元组的一个字段)对其进行分区,并将元素收集到每个分区上的滑动窗口。

另一个问题是,Spark 2.0是否支持事件时间处理?我在文档上找不到它。 这是我的代码,它没有输出正确的结果,因此我很好奇我是否做错了什么:

val keyedStream = tupleStream.transform(rdd => rdd.keyBy(_._1).groupByKey()   )

val aggregatedStream = keyedStream.flatMap( x => x._2.toList )
                                  .window(Milliseconds(slidingWindowLength),Milliseconds(slidingWindowSlide))
                                   .reduce( (t1 ,t2) => (minMaxTuples(t1,t2)) )

0 个答案:

没有答案