火花流减少窗口

时间:2015-04-17 22:34:50

标签: apache-spark spark-streaming

我有一个批量大小= 20秒,在每个rdd我有分数我需要每20秒加总所有分数所以我这样做:

JavaDStream<Double> res = scoreC.map(r -> r._2);
res.reduceByWindow((x,y) -> x+y,Durations.seconds(600),Durations.seconds(20)).print() 

结果为空 我怎样才能每20秒获得一次总分,包括之前的总和,例如:

t-1 = 0 
t = 0
t+20 = 0 + 0 + 1.5
t+40 = 0 + 0 + 1.5 + 2 
t+60 = 0 + 0 + 1.5 + 2 + .... 
...
t+600 = sum(all) from t=0 to t=600  

0 个答案:

没有答案