在python中使用boto3查询cloudwatch日志中的不同值

时间:2019-12-12 23:27:55

标签: python boto3 amazon-cloudwatch amazon-cloudwatchlogs aws-cloudwatch-log-insights

我有一个lambda函数,可将指标写入Cloudwatch。在写指标的同时,它会在日志组中生成一些日志。

INFO:: username: simran+test@abc.com ClinicID: 7667 nodename: MacBook-Pro-2.local

INFO:: username: simran+test2@abc.com ClinicID: 7669 nodename: MacBook-Pro-3.local

INFO:: username: simran+test@abc.com ClinicID: 7668 nodename: MacBook-Pro-4.local

INFO:: username: simran+test3@abc.com ClinicID: 7667 nodename: MacBook-Pro-5.local

INFO:: username: simran+test3@abc.com ClinicID: 7667 nodename: MacBook-Pro-2.local

我需要一种有效的方法来获取给定nodename的{​​{1}}的不同的值。例如,我传递ClinicId的{​​{1}}并期望

7667

这是我尝试过的:

ClinicId

我考虑过在Python中迭代['MacBook-Pro-2.local', 'MacBook-Pro-5.local'] ,但我不喜欢这个想法。由于我要查看的是超过 query = "fields @timestamp, @message | parse @message \"username: * ClinicID: * nodename: *\" as username, ClinicID, nodename | filter ClinicID = "+ clinic_id start_query_response = client.start_query( logGroupName=log_group, startTime=int(time.mktime((Util.utcnow() - timedelta(hours=hours)).timetuple())), endTime=int(time.mktime(Util.utcnow().timetuple())), queryString=query, ) 的日志,因此我需要一种有效的方法,而不必为给定的start_query_response遍历过去7 days的每个日志。

1 个答案:

答案 0 :(得分:1)

您可以将表达式传递给| stats count(*) by nodename 命令,并计算每个节点名称的出现次数。

将此添加到查询的末尾:

{
  'results': [
    [
      {
        'field': 'nodename',
        'value': 'MacBook-Pro-2.local\n'
      },
      {
        'field': 'count(*)',
        'value': '2'
      }
    ],
    [
      {
        'field': 'nodename',
        'value': 'MacBook-Pro-5.local\n'
      },
      {
        'field': 'count(*)',
        'value': '1'
      }
    ]
  ]
}

结果将是:

from ..localdep import *

有关各种命令的更多详细信息,请参见此处:https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html