数据目录表作为源

时间:2019-10-10 21:37:20

标签: amazon-web-services amazon-cloudformation aws-glue

我试图创建一个Crawler来扫描S3存储桶Parquet文件并更新Glue数据目录中现有表的分区信息。

这是我正在谈论的确切功能。 https://aws.amazon.com/about-aws/whats-new/2019/05/aws-glue-crawlers-now-support-existing-data-catalog-tables-as-sources/

当然可以从控制台工作,但是在使用cloudformation创建AWS :: Glue :: Crawler时,我找不到从DataCatalog提供表名的选项。这是未添加到cloudformation的功能,还是我在文档中找不到该功能。

还有其他选择吗?

1 个答案:

答案 0 :(得分:0)

它将s3存储桶中的文件夹名称作为表名称。您可以使用TablePrefix添加前缀。但是在此阶段,还没有办法明确指定表名。