使用数据管道将一个s3存储桶中的特定数据复制到另一个存储桶

Question

我在aws s3存储桶中上传了一个JSON文件，因为JSON文件是密钥和值的形式，我想使用aws数据管道将特定密钥数据复制到其他s3存储桶中。要执行此操作，我应该在管道定义中添加什么。任何有线索的人都会非常感激。谢谢！

Answer 1

Data Pipeline可以通过ShellCommandActivity运行任何类型的shell脚本：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-shellcommandactivity.html

因此，您可以设置一个shell活动，该活动将从s3中提取数据（通过使用“stage”功能），运行一些自定义脚本，然后将数据推回到s3。