我正在尝试为相同的密钥添加值。
val final= d1.join(d2).flatMap(line => Seq(line.swap._1)).reduceByKey((x, y) =>(x+y))
d1和d2是数据流。在flatMap之后,我获得了键值对。
但是,它会导致此行reduceByKey((x, y) =>(x+y))
例如,如果对是(k1,1.0)(k1,1.0),则行reduceByKey((x, y) =>(x+y))
导致(k1,无穷大)
有什么建议吗?
答案 0 :(得分:0)
以上代码段正在运行。正如@maasg右边暗示问题出在其他地方。该错误是由我之前的代码中的division by zero
引起的,我没有在此处发布。谢谢!