标签: apache-spark hive pyspark nosql
在SQL中有:
REFRESH TABLE table_name
在pyspark中,等效项是:
spark.refreshTable(table_name)
那么,Pyspark相当于什么:
MSCK REPAIR TABLE table_name
答案 0 :(得分:3)
refreshTable与spark会话catalog集成在一起。
按照史蒂文的建议,您可以选择spark.sql('MSCK REPAIR TABLE table_name')
spark.sql('MSCK REPAIR TABLE table_name')
上面的链接中有一个叫做recoverPartitions的东西(仅适用于分区表,而不适用于视图)。我相信这是msck repair table的别名版本。您可以继续尝试。.
recoverPartitions
msck repair table
看到此ddl.scala似乎与文档相同。 用法示例:
spark.catalog.recoverPartitions(tableName)