ReduceByKey param可以改变第一个参数吗?

时间:2018-06-10 00:09:31

标签: scala apache-spark

PairRDDFunctions.aggregateByKey scaladoc州

  

为避免内存分配,允许这两个函数修改并返回其第一个参数,而不是创建新的U.

当内存分配成为阻止程序时,必须利用这一点。

但是,PairRDDFunctions.reduceByKey scaladoc不包含相同的句子。

这两种方法都是根据常见的基础方法(combineByKeyWithClassTag)实现的,因此使用可变结构的能力也应该成立。但aggregateByKey做了一些初步的清洁工作。提供的功能可能相关也可能不相关。 (self.context.clean(seqOp))。

是否可以传递seqOp的函数值,将其第一个参数变为reduceByKey

0 个答案:

没有答案