如何按文件夹记录和汇总S3带宽?

时间:2017-08-17 18:52:03

标签: amazon-s3

我有一个带有多个文件夹的S3存储桶,每个文件夹代表一个用户。在每个用户的文件夹中有几个音频文件,通过HTTP流式传输给人们。

我需要一种按文件夹跟踪带宽的方法。我尝试启用S3日志记录,但它在使用的格式中不是很有用。它吐出了大量的小文本文件,其中包含一行,例如:

  

61f106674fb0e4a39d49057d70272b980edd365ea3a95e2ae81a2ae83193aea5 xxx [17 / Aug / 2017:17:39:00 +0000] xxx - xxx REST.GET.OBJECT track / user1 / xxx.m4a" GET /tracks/user1/xxx.m4a HTTP / 1.1" 200 - 4911363 4911363 165 143" https://xxx" " Mozilla / 5.0(Macintosh; Intel Mac OS X 10_11_6)AppleWebKit / 537.36(KHTML,与Gecko一样)Chrome / 60.0.3112.101 Safari / 537.36" -

我希望找到一份包含文件大小和文件路径的CSV。还有另一种方法吗?

1 个答案:

答案 0 :(得分:1)

是的,Amazon S3存储桶日志记录文件是您寻求的信息的最佳来源。它们是小文件,因为它们是定期生成的。每个时间段都会创建新文件,而不是附加到现有文件。

查询其内容的一种简单方法是使用Amazon Athena,它允许您在存储在Amazon S3中的数据之间编写类似SQL的查询。

请参阅:Using AWS Athena to query S3 Server Access Logs