获取插入的df分区的分区列表

Question

有没有办法获取插入表中的分区的文件列表或分区名称？

df.write.format("parquet").partitionBy('id,name').insertInto(...)

以下命令的示例我想获得一个列表：

1,Jhon
2,Jake
3,Dain

Answer 1

我不认为这是可能的，因为不知道桌子上已经存在的内容以及新添加的内容。

当然，您可以查询数据框以获取此信息：

val partitionList = df.select($"id,name").distinct.map(_.getString(0)).collect