在AWS S3中创建动态路径

时间:2016-05-09 09:02:57

标签: amazon-web-services amazon-s3 partitioning emr

我在以下路径示例中的s3中有一堆文件:

s3://bucket/date=2016-01-02/2016-01-02_1012_582.txt
s3://bucket/date=2016-01-07/2016-01-07_1415_272.txt

当文件最初放入时,分区(在本例中为日期)保持简单,因为它很快。现在,我想根据文件名进行分区。

所以,这两条路径就是:

s3://bucket/data/date=2016-01-02/a=1012/b=582/2016-01-02_1012_582.txt
s3://bucket/data/date=2016-01-07/a=1415/b=272/2016-01-07_1012_272.txt

如果不重新处理文件,我有什么聪明的方法可以做到这一点吗?我看过aws cli,但这似乎不是它的一部分。

由于

1 个答案:

答案 0 :(得分:0)

您必须编写一个脚本来获取每个文件并将其复制或移动到新密钥。