我想知道Spark 2.0流媒体库是否支持分区窗口。例如,给定流,我想按键(可以是元组的一个字段)对其进行分区,并将元素收集到每个分区上的滑动窗口。
另一个问题是,Spark 2.0是否支持事件时间处理?我在文档上找不到它。 这是我的代码,它没有输出正确的结果,因此我很好奇我是否做错了什么:
val keyedStream = tupleStream.transform(rdd => rdd.keyBy(_._1).groupByKey() )
val aggregatedStream = keyedStream.flatMap( x => x._2.toList )
.window(Milliseconds(slidingWindowLength),Milliseconds(slidingWindowSlide))
.reduce( (t1 ,t2) => (minMaxTuples(t1,t2)) )