与DataFrame#coalesce等效的SQL语法是什么

时间:2019-03-20 16:56:22

标签: apache-spark

使用DataFrame.coalesce API,我们可以减少分区的数量,我想要在Spark sql中使用相同的功能,所以我会问如何编写sql,

在spark sql中,我希望select * from a仅具有10个分区,而实际上可能有100个以上分区

1 个答案:

答案 0 :(得分:0)

好的,我发现JIRA完全可以满足我的要求,https://issues.apache.org/jira/browse/SPARK-24940