合并文件后的S3DistCp文件名

时间:2017-11-06 16:02:45

标签: amazon-s3 merge amazon-emr

我在Amazon EMR上遇到s3-dist-cp命令的问题。我想要实现的是能够在合并我的S3文件夹中的所有小文件时定义文件的名称。例如:

s3://bucket/event/v1/2017/11/06/10/event-1234.json
s3://bucket/event/v1/2017/11/06/10/event-4567.json
s3://bucket/event/v1/2017/11/06/10/event-7890.json
.... so on

,结果如下:

s3://test/test/event

我能够合并上面的所有文件,但结果文件名错误。

命令是:

s3-dist-cp --src s3://bucket/event/v1/2017/11/06/10/ --dest s3://test/test/ --groupBy='.*(event).*' --targetSize=2048

我想要达到的结果是:

s3://test/test/events.hourly.json

如何更改目标文件名?

0 个答案:

没有答案