使用cloudwatch日志过滤发送到AWS上的Lambda的日志

Question

我的管道是：

cloudwatchlogs > lambda > Elastic Search。

问题在于那些日志太冗长了（我无能为力）并且70％的日志都需要过滤，因此它们不会无用地填充我的弹性集群。

我以为我可以在云计算日志组上应用metrix过滤日志，但这并不会过滤任何意味着它会从云计算中删除它们，只是绘制一些关于它的统计数据......，因此仍会显示那些不需要的日志。 / p>

当我创建订阅过滤器时，我找到的只是这个小地方：但它非常原始，我需要至少30-40个不同的过滤模式，而不仅仅是一个

所以我的问题是：

我唯一没有被不需要的日志困扰的方法是在我的lambda函数中手动过滤它们（正则表达式等）吗？必须有一个更简单的方法，不是吗？

由于

Answer 1

我最后做的是让日志到达我的ElasticCluster而不进行任何过滤，然后使用kibana预过滤我不需要的东西，并使用cronjob直接在弹性搜索中定期删除所有日志。

到目前为止一切顺利，当你在kibana上创建过滤器时，它还会为你提供自己执行请求所需的json。

示例：

curl -X POST ES/INDEX/_delete_by_query
{
  "query": {
    "match": {
      "sourceIPAddress": {
        "query": "ec2.amazonaws.com",
        "type": "phrase"
      }
    }
  }
}