Spark:重新分区与partitionBy之间有什么区别?

时间:2019-01-29 08:58:28

标签: apache-spark dataframe apache-spark-sql

有什么区别
df.repartition("countryName", "date")

vs

df.write.partitionBy("countryName", "date")
除了第二个是写数据的时候?

重新分区是否有助于我针对该数据框进行查询?如果仅使用第一个(repartition)而不使用partitionBy,则写入的文件可能无法分区吗?

0 个答案:

没有答案