可以从S3存储桶子目录创建AWS athena分区吗?

时间:2017-02-09 21:45:13

标签: amazon-athena

我们的s3存储桶通常有许多子目录,因此存储桶的路径类似于s3:functional-group / service / org-tenant-company-id / entity-id / actual-data

我们正在研究Athena能够查询该/实际数据级别的数据,但是在org-tenant-company-id中。所以我们似乎需要一种方法来为该org-tenant-company-id创建一个列或分区。这可能吗?

我已经阅读了Athena文档中分区的页面。好像我们可能不得不通过JDBC驱动程序手动创建分区?

2 个答案:

答案 0 :(得分:0)

是的,您可以手动创建分区,但如果您以hive格式设置文件夹结构,例如(s3:functional-group / service / org-tenant-company-id = xxxx /),您可以简单地做“MSCK REPAIR TABLE”命令和Athena将自动为您创建所有分区。

答案 1 :(得分:0)

您可以将路径用作属性(How to get input file name as column in AWS Athena external tables),并使用CTAS创建分区。