Hadoop distcp命令说无法连接到服务器

Question

我想从S3下载数据到HDFS。我试过s3cmd，但它并不平行，因此很慢。我想让hadoop distcp像这样工作：

hadoop distcp -Dfs.s3n.awsAccessKeyId=[Access Key] -Dfs.s3n.awsSecretAccessKey=[Secret Key] s3n://[account-name]/[bucket]/folder /data

但它给了我：

  

ipc.Client：重试连接到服务器：   ec2- [IP] .compute-1.amazonaws.com / [内部IP]：9001。已经尝试了0次

Answer 1

distcp是基于地图缩减的作业。确保启动作业跟踪服务。尝试

hadoop/bin/start-all.sh