我在Amazon EMR上遇到s3-dist-cp
命令的问题。我想要实现的是能够在合并我的S3文件夹中的所有小文件时定义文件的名称。例如:
s3://bucket/event/v1/2017/11/06/10/event-1234.json
s3://bucket/event/v1/2017/11/06/10/event-4567.json
s3://bucket/event/v1/2017/11/06/10/event-7890.json
.... so on
,结果如下:
s3://test/test/event
我能够合并上面的所有文件,但结果文件名错误。
命令是:
s3-dist-cp --src s3://bucket/event/v1/2017/11/06/10/ --dest s3://test/test/ --groupBy='.*(event).*' --targetSize=2048
我想要达到的结果是:
s3://test/test/events.hourly.json
如何更改目标文件名?