Spark Dataframe丢失分区

Question

我在阅读火花数据帧时发现了这个奇怪的问题。我将数据帧重新划分为50k分区。但是，当我在数据帧上读取并执行计数操作时，我发现当我使用spark 2.0时，底层rdd只有2143个分区。

所以我去了保存重新分区数据的路径，发现了

hfs -ls /repartitionedData/ | wc -l
50476

因此它在保存数据时创建了50k个分区。

但是使用spark 2.0，

val d = spark.read.parquet("repartitionedData")
d.rdd.getNumPartitions
res4: Int = 2143

但是火花1.5，

val d = spark.read.parquet("repartitionedData")
d.rdd.partitions.length
res4: Int = 50474

有人可以帮我这个吗？

Answer 1

并不是说你丢失数据，Spark只会改变分区的数量。 FileSourceStrategy将镶木地板文件合并到更少的分区中，并重新排序数据。

当Spark升级到版本2.0时，这会发生变化。您可以找到一个有点相关的错误报告here。