AWS-Athena中的表大小

时间:2018-12-19 15:29:38

标签: size amazon-athena

是否存在基于SQL的方法来检索AWS-Athena中数据库中所有表的大小?

我对MSSQL较为熟悉,因此编写这样的查询相对容易。

1 个答案:

答案 0 :(得分:1)

您可以为每个表运行SELECT * FROM some_table并查看扫描量的结果元数据,但这将是一种昂贵的方法。

Athena并不像RDBMS那样真正了解表中的数据,只有当您查询表时,Athena才会查看数据。您应该确实是S3。您可以列出表位置中的所有对象并对其大小求和,但是如果对象很多,这可能是一种耗时的方法。

当存在成千上万个对象时,最便宜,最省时的方法是在包含表数据的存储桶中启用S3库存,然后使用库存汇总每个大小表。您可以CSV,ORC或Parquet格式获取清单,它们都可以与Athena一起很好地使用-因此,如果存储桶中有很多文件,您仍然可以非常有效地查询清单。

您可以在此处了解有关S3广告资源的更多信息:https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html