我们的s3存储桶通常有许多子目录,因此存储桶的路径类似于s3:functional-group / service / org-tenant-company-id / entity-id / actual-data
我们正在研究Athena能够查询该/实际数据级别的数据,但是在org-tenant-company-id中。所以我们似乎需要一种方法来为该org-tenant-company-id创建一个列或分区。这可能吗?
我已经阅读了Athena文档中分区的页面。好像我们可能不得不通过JDBC驱动程序手动创建分区?
答案 0 :(得分:0)
是的,您可以手动创建分区,但如果您以hive格式设置文件夹结构,例如(s3:functional-group / service / org-tenant-company-id = xxxx /),您可以简单地做“MSCK REPAIR TABLE”命令和Athena将自动为您创建所有分区。
答案 1 :(得分:0)
您可以将路径用作属性(How to get input file name as column in AWS Athena external tables),并使用CTAS创建分区。