如何将文件从aws s3复制到hadoop hdfs

时间:2015-05-08 09:36:26

标签: hadoop amazon-web-services amazon-s3

我使用命令"

将文件从aws s3复制到hadoop
  

hadoop distcp s3:// xxx @ aaa / hdfs:// s3 / alc "

但它不起作用。

我发现它传输到 s3-1-w.amazonaws.com

然后我编辑文件" /etc/hadoop/conf/jets3t.properties"并添加" s3service.s3-endpoint = cn-north-1.amazonaws.com.cn 。 现在我得到了例外:

  

" 复制失败:java.net.UnknownHostException:alc.cn-north-1.amazonaws.com.cn "

我该如何解决?

0 个答案:

没有答案