标签: apache-spark text-files hive-partitions
Spark将根据输入文件的大小自动确定分区数。我有两个问题:
我可以指定分区的数量,而不是由火花决定多少个分区吗?
进行分区时,随机播放有多严重?表演真的很贵吗?我的情况是我需要重新分区为“ 1”才能写入一个Parquet文件,分区为“ 31”。有多糟为什么?
答案 0 :(得分:0)
无法执行此操作,分区数由文件大小确定。
答案 1 :(得分:-1)
重新分区和合并是两个功能,用于在读取数据后对数据进行重新分区。