我们是否可以安排AWS Glue作业执行MSCK修复命令,以便将新添加的分区的元数据添加到Glue目录中?
Glue ETL脚本可以在不调用Athena的情况下执行MSCK REPAIR TABLE命令吗?
答案 0 :(得分:0)
这是通过Glue Crawlers实现的。如果您创建一个爬虫,它将根据新字段更新表并添加新分区。
答案 1 :(得分:0)
您可以调用batch_create_partition()API来执行此操作。它不需要像MSCK REPAIR TABLE或重新爬网这样的昂贵操作。以下是我的详细答案和代码示例-