AWS CloudWatch记录到ELK

时间:2019-11-23 17:32:42

标签: amazon-web-services amazon-s3 aws-lambda amazon-cloudwatch elk

我打算将AWS CloudWatch日志复制到ELK,并希望使用Kibana仪表板来可视化日志。

一种选择是将日志从CloudWatch流到ELK。

https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_ES_Stream.html

但是我认为这将涉及到Lambda函数的广泛执行,这可能不是一个具有成本效益的选择。

是否还有其他经济有效的方式将日志从CloudWatch复制到S3,然后再复制到ELK?

我很好,如果日志不是实时的,则可以延迟15分钟或一小时。

但是我正在寻找一种具有成本效益的解决方案。

顺便说一句,定期清除CloudWatch日志的最佳方法是什么? (也许一周后)

1 个答案:

答案 0 :(得分:0)

首先,您可以为cloudwatch日志设置retention policy。默认情况下,它是不确定的,但是您可以将其设置为您提到的7天。

第二,据我所说,lambda是将日志提取到您的Elasticsearch域中的一种经济高效的选择。

其他选择,我可以这样认为:

    带有日志存储的
  • ec2实例从cloudwatch读取日志并将其摄取到elasticsearch。
  • 可能您可以使用aws batch扩展以上功能