并行reduceByKeyAndWindow()具有不同的时间值

时间:2015-06-11 10:04:38

标签: java apache-spark reduce spark-streaming dstream

我正在使用一个用例上的Spark Streaming,它要求在不同的窗口长度上计算4种不同的输出。

特别是,我需要我的程序根据4个不同的时间窗口(窗口彼此独立)输出计算结果每秒

到目前为止,我通过调用

在60秒的单个窗口上实现了它
.reduceByKeyAndWindow(comingTs, leavingTs, Durations.seconds(60), Durations.seconds(1))
.cache();
JavaPairDStream<K, V>对象上的

(批次应该是1秒长)。 之后,会对这些元组进行计算。

现在,在同一秒内,我需要输出300和600秒长的窗口的结果,彼此独立。

我的问题是:在Spark Streaming中是否平易近人?我比较新,我不能说。如果是,有人可以建议我怎么做吗?

0 个答案:

没有答案