标签: scala apache-spark spark-dataframe partition
我有一个包含10个分区的DataFrame,但90%的数据属于1个或2个分区。如果我调用dataFrame.coalesce(10),则会将每个分区拆分为10个部分,而8个分区则不需要这样做。有没有办法将只有数据的分区拆分成更多的部分呢?
dataFrame.coalesce(10)