reduceByKey导致无穷大值

时间:2016-11-25 14:05:28

标签: scala spark-streaming

我正在尝试为相同的密钥添加值。

val final= d1.join(d2).flatMap(line => Seq(line.swap._1)).reduceByKey((x, y) =>(x+y))  

d1和d2是数据流。在flatMap之后,我获得了键值对。

但是,它会导致此行reduceByKey((x, y) =>(x+y))

中的无穷大值

例如,如果对是(k1,1.0)(k1,1.0),则行reduceByKey((x, y) =>(x+y))导致(k1,无穷大)

有什么建议吗?

1 个答案:

答案 0 :(得分:0)

以上代码段正在运行。正如@maasg右边暗示问题出在其他地方。该错误是由我之前的代码中的division by zero引起的,我没有在此处发布。谢谢!