Spark数据帧编写器 - 范围Partiotioning

时间:2017-07-21 16:45:19

标签: apache-spark apache-spark-sql spark-dataframe

是否可以根据RangePartioning编写Spark Data Frame Writer?

对于前 -

我为column_a设置了10个不同的值,比如说1到10。

df.write
.partitionBy("column_a")

默认情况下,上面的代码会创建10个文件夹.. column_a = 1,column_a = 2 ... column_a = 10

我想知道是否可以根据存储桶使用这些分区 - col_a = 1to5,col_a = 5-10 ..或类似的东西?然后还有查询引擎尊重它

由于

0 个答案:

没有答案