AWS Glue Catalog作业上的MSCK Repair Command

时间:2018-04-10 15:12:54

标签: amazon-web-services aws-glue

我们是否可以安排AWS Glue作业执行MSCK修复命令,以便将新添加的分区的元数据添加到Glue目录中?

Glue ETL脚本可以在不调用Athena的情况下执行MSCK REPAIR TABLE命令吗?

2 个答案:

答案 0 :(得分:0)

这是通过Glue Crawlers实现的。如果您创建一个爬虫,它将根据新字段更新表并添加新分区。

答案 1 :(得分:0)

您可以调用batch_create_partition()API来执行此操作。它不需要像MSCK REPAIR TABLE或重新爬网这样的昂贵操作。以下是我的详细答案和代码示例-

https://stackoverflow.com/a/52239022/2414855