reducebykey,然后在火花中进行foreachpartition

时间:2018-10-03 22:39:06

标签: apache-spark

据我所知,reducebykey将首先在每个分区上进行本地还原,然后进行随机播放。但是,如果我在reducebyKey之后执行foreachpartition动作,则reducebykey仍会执行全局范围的reduce,还是将reduce限制在每个分区级别,并且不会在不同分区之间进行随机播放?

1 个答案:

答案 0 :(得分:1)

后续操作对reduceByKey完全没有影响。无论是什么reduceByKey(或任何其他类似方法),都将照常洗牌。