亚马逊s3访问日志文件不正确的值»字节发送«

时间:2015-02-11 09:21:06

标签: amazon-web-services amazon-s3 logfile access-log logfile-analysis

分析我们的S3访问日志文件我注意到S3访问日志文件中的“每月数据传输”的值(S3stat和自己的日志文件分析)与账单中的值有很大不同。

现在我已经测试了从我们的一个存储桶下载文件,看起来访问日志文件不正确。

在03/02/2015,我已经在我们的存储桶上传了一个zip文件,然后通过两个不同的互联网连接成功下载了完整的文件。 一天后,在2015年2月4日,我分析了日志文件。不幸的是,两个条目在“Bytes Sent”中都具有值“ - ”。 亚马逊»服务器访问日志格式«(http://docs.aws.amazon.com/AmazonS3/latest/dev/LogFormat.html)说: »发送的响应字节数,不包括HTTP协议开销,如果为零则为“ - ”。«

相应的条目如下所示:

  

Bucket Owner Bucket [03 / Feb / 2015:10:28:41 +0000] RemoteIP -   RequestID REST.GET.OBJECT Download.zip“GET /Bucket/Download.zip HTTP   / 1.1“200 - - 760 542 2228865159 58” - “”Mozilla / 5.0(Windows NT   6.1; WOW64; rv:35.0)Gecko / 20100101 Firefox / 35.0“ -

     

Bucket Owner Bucket [03 / Feb / 2015:10:28:57 +0000] RemoteIP -   RequestID REST.GET.OBJECT Download.zip“GET /Bucket/Download.zip HTTP   / 1.1“200 - - 860 028 2228865159 23” - “”Mozilla / 5.0(Windows NT   6.1; WOW64; rv:35.0)Gecko / 20100101 Firefox / 35.0“ -

正如您所看到的,两个日志都有相当长的连接时间»总时间«:0:12:40和0:14:20。

然后,根据这些调查结果,检查了2014年12月份主要存储桶的日志文件。在2332相关条目(我们的存储桶中的所有ZIP文件)中,我发现了860个带有此错误的条目。

因此,Amazon S3访问日志文件似乎存在缺陷,无法用于我们的分析。

任何人都可以帮助我吗?我是否犯了错误?如果是,那么如何可靠地评估这些日志文件?

由于 彼得

1 个答案:

答案 0 :(得分:0)

经过两个月的亚马逊调查后,亚马逊似乎已经解决了这个问题。我的第一次测试时间为13.03。到16.03。没有这样的错误,我们的S3stat分析在2015年3月12日以来的每日带宽中有一个巨大的(现在正确的)跳跃。

有关详细信息,请查看此处: https://forums.aws.amazon.com/thread.jspa?messageID=606654

彼得