使用过滤器模式解析cloudwatch日志

时间:2017-01-17 09:01:21

标签: amazon-web-services amazon-cloudwatch

我在cloudwatch中有这行lambda函数日志,我通过邮件收到:

 /aws/lambda/sns-function | 2017/01/10/[$LATEST]425d9138c8d54ab57l0766ba74fdfd4p | 2017-01-10T00:04:30.734Z | 2017-01-10 00:04:30,734 :: ERROR :: error creating /tmp/tmpkRWp3S_20170110/file20170115.tar.gz: Command `['/bin/tar', '--create', '-z', '--file', u'/tmp/tmpkRWp3S_20170110/file20170115.tar.gz', '--', './']' returned non-zero exit status 1

正如本doc中所解释的,我想将过滤模式放在仅获取重要数据的位置。对我来说,我只希望获得一次约会,因为在上面一行中,我有两次这样的信息:2017-01-10T00:04:30.734Z 我尝试使用这样的模式:

[...,timestamp,level,message=*ERROR*,...]

但是我收到了这个错误:

2017-01-17 10:45:58,091 :: ERROR :: logGroup: '/aws/lambda/sns-function' - logStream: 'None'
2017-01-17 10:45:58,091 :: ERROR :: An error occurred (InvalidParameterException) when calling the FilterLogEvents operation: Duplicate field '...'

如何解析日志以获取日期?

1 个答案:

答案 0 :(得分:2)

指标过滤器可帮助您搜索和匹配日志事件中的术语,短语或值。他们不会从日志事件中删除值(在您的情况下为 timestamp )。您可以修改脚本以从输出中排除时间戳(因为它已经包含在内)。

此外,您还使用指标筛选器进行空格分隔的日志事件。您的分隔符似乎是B0302 exemple,在这种情况下不起作用。度量过滤器将此解释为单个字段。如果您要使用此指标过滤器,则可以将每个字段用方括号::或两个双引号[]括起来。

例如,您可以将此模式""用于以下日志事件:

[timestamp, result=ERROR, message, exit_status=*1*]

注意:错误的原因是省略号[2017-01-10 00:04:30,734] [ERROR] "error creating /tmp/tmpkRWp3S_20170110/file20170115.tar.gz: Command `['/bin/tar', '--create', '-z', '--file', u'/tmp/tmpkRWp3S_20170110/file20170115.tar.gz', '--', './']' returned non-zero" "exit status 1" 在模式中只出现一次。