分区和文件布局是在写入时保留在文件布局中的分区吗?

时间:2017-06-28 14:23:10

标签: apache-spark

我正在使用自定义partitionerRDD进行分区,然后我使用saveAsTextFile保存它。保存后是否始终保证分区的订购?特别是:订购自己和1个分区到1个文件匹配?所以它看起来像这样:

part-00000 - 1 partition
part-00001 - 2 partition even if it's empty
part-00002 - 3 partition
...

或者可能会有所不同?

我正在使用Spark 1.6

0 个答案:

没有答案