Pyspark-按范围读取特定分区

时间:2019-07-29 14:52:00

标签: python scala apache-spark pyspark

我需要使用pyspark读取特定的分区范围。我已经看到各种帖子,例如this,这些帖子在使用Scala时可以执行以下操作:

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day={5,6}/*")

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day=[5-10]/*")

使用pyspark时,使用{}括号的第一种方法有效,这将读取特定的分区。但是,我无法使用[]来使用range方法。

我想知道pyspark的语法不同还是只是不支持?

0 个答案:

没有答案