spark SQL中的“分组依据”是否已优化?

时间:2018-10-31 12:44:38

标签: apache-spark apache-spark-sql

数据是否在每个分区中合并? 众所周知,如果使用 reduceByKey ,则在每个分区上合并数据,每个分区上只有一个键的一个输出可以通过网络发送。 reduceByKey要求将所有值组合成具有完全相同类型的另一个值。 我的意思是,是不是 reducebykey

0 个答案:

没有答案