我需要使用pyspark读取特定的分区范围。我已经看到各种帖子,例如this,这些帖子在使用Scala时可以执行以下操作:
val dataframe = sqlContext
.read
.parquet("file:///your/path/data=jDD/year=2015/month=10/day={5,6}/*")
val dataframe = sqlContext
.read
.parquet("file:///your/path/data=jDD/year=2015/month=10/day=[5-10]/*")
使用pyspark时,使用{}
括号的第一种方法有效,这将读取特定的分区。但是,我无法使用[]
来使用range方法。
我想知道pyspark的语法不同还是只是不支持?