将S3文件拆分为多个输出文件

时间:2015-06-09 20:08:47

标签: amazon-web-services amazon-s3 mapreduce

我将我的数据库结果作为文本文件上传到S3集群。现在我需要根据列名组合将此文件拆分为S3中的多个文件。之后,各个文件将被提供给一个服务,该服务将并行地对这些单个文件进行一些预处理。之后,它们将作为单个文件组合在一起并存储回s3。

有关如何执行此操作的任何建议吗?

0 个答案:

没有答案