重新分区如何激发一个(或几个)非常大的分区?

时间:2018-03-16 09:21:29

标签: scala apache-spark spark-dataframe partition

我有一个包含10个分区的DataFrame,但90%的数据属于1个或2个分区。如果我调用dataFrame.coalesce(10),则会将每个分区拆分为10个部分,而8个分区则不需要这样做。有没有办法将只有数据的分区拆分成更多的部分呢?

0 个答案:

没有答案