错误：权限被拒绝：＆＃39; / user＆＃39;

Question

当我尝试将AWS S3存储桶复制到HDFS时，我收到错误：

  

权限被拒绝：＆＃39; / user＆＃39;

以下是我的剧本

aws s3 sync s3://folder1.folder2/file.json /user/hive/warehouse/my.db/json_table

请帮忙！

Answer 1

S3 sync无法识别HDFS路径。

使用，

配置完所有与S3相关的UriSource。后，
• RandomAccessStreamReference
• hadoop distcp，这需要s3distcp.jar。
• 如果文件很小，sync文件到localpath，copyFromLocal到HDFS。