我正在使用一个用例上的Spark Streaming,它要求在不同的窗口长度上计算4种不同的输出。
特别是,我需要我的程序根据4个不同的时间窗口(窗口彼此独立)输出计算结果每秒。
到目前为止,我通过调用
在60秒的单个窗口上实现了它.reduceByKeyAndWindow(comingTs, leavingTs, Durations.seconds(60), Durations.seconds(1))
.cache();
在JavaPairDStream<K, V>
对象上的(批次应该是1秒长)。 之后,会对这些元组进行计算。
现在,在同一秒内,我需要输出300和600秒长的窗口的结果,彼此独立。
我的问题是:在Spark Streaming中是否平易近人?我比较新,我不能说。如果是,有人可以建议我怎么做吗?