使用s3-distcp在EMR 5.17上从HDFS复制到S3失败

Question

尝试使用s3-distcp将文件从HDFS复制到EMR 5.17上的S3时出现故障

/usr/lib/hadoop/bin/hadoop jar \
/usr/share/aws/emr/s3-dist-cp/lib/s3-dist-cp.jar \
-Dfs.s3a.server-side-encryption-algorithm=AES256 \
--src=hdfs://<ip-addr>:8020/data/s3/dir1/dir2/_SUCCESS \
--dest=s3a://<bucket>/dir1/dir2/_SUCCESS

INFO: Error: java.lang.RuntimeException: Reducer task failed to copy 1 files: \
hdfs://<ip-addr>:8020/data/s3/dir1/dir2/_SUCCESS

有人对这个问题可能有什么想法吗？ 在EMR 5.8群集上，它工作得很好。

谢谢。