logstash是从s3下载日志还是读取而不下载？

Question

我正在使用logstash将日志处理为集中式日志，并且输入以gz格式位于s3。我需要为此过程创建一个成本估算，logstash是下载s3对象还是远程解析它？

Answer 1

Amazon S3是对象存储服务。数据未在Amazon S3上“处理”。

如果应用程序想要处理来自Amazon S3的数据，则需要从Amazon S3下载文件并在本地处理数据。如果应用程序使用Amazon S3 Select服务（可以直接在Amazon S3上查询数据），则是一个例外。

就成本而言，如果Amazon EC2实例与Amazon S3存储桶位于同一区域，则没有数据下载成本。