解析来自AWS S3存储桶的数据并将已解析的数据保存到另一个存储桶

时间:2018-10-13 21:16:09

标签: amazon-web-services amazon-s3 amazon-ec2

我是AWS S3的新手,我正在从AWS阅读此教程,内容涉及如何将数据从存储桶移至另一个存储桶

How can I copy objects between Amazon S3 buckets?

但是,我没有注意到,也没有提到在保存数据之前可以应用钩子或任何中间步骤。

理想情况下,我们希望从日志存储桶中获取数据(存储桶非常脏,需要清理一点),然后将其另一个副本保存在另一个S3中(已解析的数据)。我们还希望定期执行此操作,以便将来需要自动化。

我想知道的是,我可以仅使用S3来执行此操作,还是需要使用其他服务来进行解析并将其保存到另一个存储桶中。

感谢任何见识,谢谢!

1 个答案:

答案 0 :(得分:2)

S3本身仅用于存储。您应该查看using AWS Lambda with Amazon S3

每次将文件推送到日志存储桶时,S3都会触发(您编写的)Lambda函数,该函数可以读取文件,进行清理,然后将清理后的数据推送到新的S3存储桶。

希望这会有所帮助。