如何使用AWS Data Pipeline将文件/文件从一个S3存储桶/目录传输到另一个存储桶/目录

时间:2013-12-24 11:39:00

标签: amazon-web-services amazon-s3 amazon-data-pipeline

我想使用AWS数据管道将文件(即将其复制到目标目录并从源目录中删除)从一个S3存储桶目录传输到另一个目录。

我尝试使用ShellCommandActivity并创建了一个脚本,可以将文件/文件从一个S3存储桶/目录移动到另一个存储库/目录。但结果是它只将它复制到目标S3存储桶/目录,并没有删除S3源目录中的文件。

提前致谢!

1 个答案:

答案 0 :(得分:1)

如果要从S3存储桶中删除某些内容,则必须明确删除它;除了复制和删除之外,没有“移动”的原生概念。

那就是说,我上次尝试时发现无法从数据管道中的S3桶资源中删除。我不得不通过使用s3cmd来解决这个问题。