逐行拆分S3文件并放入其他存储桶

Question

我在S3中有适度大小的文件（我从EMR获得），每行都有一个密钥和对象，我想把它放在单独的桶中。

无论如何使用数据管道实现这一点？

Answer 1

如果您只想将此数据复制到另一个s3存储桶中，则可以使用datapipeline中的CopyActivity执行此操作。您的管道将具有S3DataNode作为CopyActivity的输入和输出S3DataNode。您可以通过尝试AWS datapipeline控制台中提供的其中一个模板开始编辑您的管道，以获得我上面提到的对象。