当我执行textFile时,Spark我可以手动指定分区数吗

时间:2018-11-19 05:19:33

标签: apache-spark text-files hive-partitions

Spark将根据输入文件的大小自动确定分区数。我有两个问题:

我可以指定分区的数量,而不是由火花决定多少个分区吗?

进行分区时,随机播放有多严重?表演真的很贵吗?我的情况是我需要重新分区为“ 1”才能写入一个Parquet文件,分区为“ 31”。有多糟为什么?

2 个答案:

答案 0 :(得分:0)

无法执行此操作,分区数由文件大小确定。

答案 1 :(得分:-1)

重新分区和合并是两个功能,用于在读取数据后对数据进行重新分区。