是否可以将日志从EC2实例自动导出到S3存储桶?

时间:2018-06-26 07:08:36

标签: amazon-web-services amazon-s3 amazon-ec2 amazon-cloudwatch amazon-cloudwatchlogs

我希望将日志生成后立即保存到S3存储桶中。

从我所阅读的内容来看,似乎可以导出到S3 from EC2 via Cloudwatch,但尝试一下后,导出似乎已固定为“开始”日期和“结束”日期。

还有其他方法可以将日志保存在S3存储桶中吗?

2 个答案:

答案 0 :(得分:2)

您可以创建一个有权写入某些存储桶的角色,然后将此角色分配给EC2实例。然后,您将能够使用s3 api将日志从ec2实例直接导出到S3。您可以编写用于导出日志的Shell脚本并将其作为cron作业运行。

答案 1 :(得分:2)

您可以考虑使用任何第三方日志转发器工具,例如Fluentd或Filebeat + Logstash。

Logstash / Fluentd可能会跟踪您现有的日志文件,并推送到实时配置的S3端点。

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-s3.html

https://docs.fluentd.org/v0.12/articles/out_s3