从pyspark sql查找用于配置单元查询的配置单元表分区

时间:2019-12-20 06:33:55

标签: hadoop hive pyspark pyspark-sql

我有一个配置单元外部表,按日期划分了几列。数据为avro格式。我想证明或查看来自Spark sql的查询正在使用哪些分区。

我知道我们可以使用“ EXPLAIN DEPENDENCY SELECT * from table where date ='2019-12-20'”从hive cli中找到分区信息。我也知道可以使用describe()方法从spark sql获取执行计划。但是这不会显示分区信息。

请帮助我查看Spark使用的表分区信息。

谢谢

Chaithanya M

0 个答案:

没有答案