我试图创建一个Crawler来扫描S3存储桶Parquet文件并更新Glue数据目录中现有表的分区信息。
这是我正在谈论的确切功能。 https://aws.amazon.com/about-aws/whats-new/2019/05/aws-glue-crawlers-now-support-existing-data-catalog-tables-as-sources/
当然可以从控制台工作,但是在使用cloudformation创建AWS :: Glue :: Crawler时,我找不到从DataCatalog提供表名的选项。这是未添加到cloudformation的功能,还是我在文档中找不到该功能。
还有其他选择吗?
答案 0 :(得分:0)
它将s3存储桶中的文件夹名称作为表名称。您可以使用TablePrefix
添加前缀。但是在此阶段,还没有办法明确指定表名。