我在AWS EMR(AMI 5.2)上运行工作。我在S3中有大文件,我想使用s3-dist-cp
复制并拆分到另一个S3位置。这是我正在使用的命令:
s3-dist-cp --src=s3://my-bucket/dir1/ --dest=s3://my-bucket/dir2/ --groupBy='(.*)' --targetSize=2
我没有错误,分组似乎工作正常(即使使用其他正则表达式)。但是,目标大小调整没有任何作用。该文件只是被复制到目的地而不是被拆分。在这种情况下,源文件是50MB。