在Spark转换中保留分区的工作

时间:2018-09-21 11:54:31

标签: apache-spark apache-spark-sql

能否请您帮助我了解在spark转换中perservingPartition的含义?

我读过很少的博客,并了解map,过滤器实例化MapPartionsRDD。 Map使用MapPartitionsRDD的默认preservepartitioning(默认情况下为false),其中,作为过滤器和MapValues,将preservepartitioning设置为true。

preservepartitioning的好处是什么,它会在Spark中的随机播放中产生什么影响,您能解释一下它与示例一起使用吗?

0 个答案:

没有答案