标签: hadoop hive pyspark pyspark-sql
我有一个配置单元外部表,按日期划分了几列。数据为avro格式。我想证明或查看来自Spark sql的查询正在使用哪些分区。
我知道我们可以使用“ EXPLAIN DEPENDENCY SELECT * from table where date ='2019-12-20'”从hive cli中找到分区信息。我也知道可以使用describe()方法从spark sql获取执行计划。但是这不会显示分区信息。
请帮助我查看Spark使用的表分区信息。
谢谢
Chaithanya M