PairRDDFunctions.aggregateByKey
scaladoc州
为避免内存分配,允许这两个函数修改并返回其第一个参数,而不是创建新的U.
当内存分配成为阻止程序时,必须利用这一点。
但是,PairRDDFunctions.reduceByKey
scaladoc不包含相同的句子。
这两种方法都是根据常见的基础方法(combineByKeyWithClassTag
)实现的,因此使用可变结构的能力也应该成立。但aggregateByKey
做了一些初步的清洁工作。提供的功能可能相关也可能不相关。 (self.context.clean(seqOp)
)。
是否可以传递seqOp
的函数值,将其第一个参数变为reduceByKey
?