处理AWS ELB访问日志(从S3存储桶到InfluxDB)

时间:2018-05-23 11:03:22

标签: amazon-s3 influxdb amazon-elb access-log telegraf

我们希望处理AWS ELB访问日志并将其写入InfluxDB 用于应用程序指标和监控(例如Grafana)。

我们将ELB配置为将访问日志存储到S3存储桶中。

处理这些日志并将其写入InfluxDB的最佳方法是什么?

我们到目前为止尝试的是使用s3fs将S3存储桶挂载到文件系统,然后使用Telegraf代理进行处理。但是这种方法存在一些问题:s3fs挂载看起来像黑客,并且存储桶中的所有文件都被压缩,需要在telegraf处理之前解压缩,这使得此任务过于复杂。

还有更好的方法吗?

谢谢, 奥列克

1 个答案:

答案 0 :(得分:0)

您是否可以在生成日志的AWS实例上安装telegraf代理,并将它们直接发送到InfluxDB?