使用s3-dist-cp减小文件大小(--targetSize不起作用)

时间:2016-12-02 19:17:50

标签: amazon-web-services amazon-s3 emr amazon-emr s3distcp

我在AWS EMR(AMI 5.2)上运行工作。我在S3中有大文件,我想使用s3-dist-cp复制并拆分到另一个S3位置。这是我正在使用的命令:

s3-dist-cp --src=s3://my-bucket/dir1/ --dest=s3://my-bucket/dir2/ --groupBy='(.*)' --targetSize=2

我没有错误,分组似乎工作正常(即使使用其他正则表达式)。但是,目标大小调整没有任何作用。该文件只是被复制到目的地而不是被拆分。在这种情况下,源文件是50MB。

0 个答案:

没有答案