reduceByKey函数可以更改密钥吗?

时间:2019-04-18 16:38:01

标签: scala apache-spark

我是新手,可能我不太了解键减少。我想保持最接近某个点的群集ID。

distancePointMicrocluster:RDD [Point,(ClusterId:Int,Distance:Double)]

val nearClusterToPoint = distancesPointMicrocluster .reduceByKey((x,y)=>如果(x._2

input and output of the function

1 个答案:

答案 0 :(得分:1)

问题不是功能reduceByKey,而是我没有将点保存在内存中的事实。结果,我在每个动作中都重新创建了点,因此pointIds不相同。