Pyspark中是否有一种等效于SQL的MSCK REPAIR TABLE的方法

时间:2019-05-16 13:25:56

标签: apache-spark hive pyspark nosql

在SQL中有:

REFRESH TABLE table_name

在pyspark中,等效项是:

spark.refreshTable(table_name)

那么,Pyspark相当于什么:

MSCK REPAIR TABLE table_name

1 个答案:

答案 0 :(得分:3)

refreshTable与spark会话catalog集成在一起。

按照史蒂文的建议,您可以选择spark.sql('MSCK REPAIR TABLE table_name')

上面的链接中有一个叫做recoverPartitions的东西(仅适用于分区表,而不适用于视图)。我相信这是msck repair table的别名版本。您可以继续尝试。.

看到此ddl.scala似乎与文档相同。
用法示例:

spark.catalog.recoverPartitions(tableName)