我有一个array[array]
,我用来自stream
的数据填充。我的batch interval
是1秒。
我正在使用foldleft
进行填充,因此每1 s将所有数据汇总到array
中。
当我的atch interval
已满时,我如何忽略其余b array
的其余数据?
My code is:
var arr = inputRdd.transform(x => x.groupBy(_ (1)).mapValues(x => x
.foldLeft(Array.ofDim[Double](C, T)) { (a, b) => {
var c = a
c(b(2).toInt)(findNextEmpty(a,b(2).toInt, T)) += b(3).toDouble
c }}))