Question

我试图通过EC2的spark脚本在EC2群集设置中使用distcp在Hadoop和Amazon S3之间进行复制

[root]# bin/hadoop distcp s3n://bucket/f1 hdfs:///user/root/

我得到的错误是

INFO ipc.Client: Retrying connect to server: .. Already tried n time(s).

Copy failed: java.net.ConnectException: Call to ..my_server failed on connection excep\
tion: java.net.ConnectException: Connection refused

Answer 1

Spark EC2脚本，可能是故意的，不启动JobTracker和TaskTracker服务。因此，在运行Spark EC2安装脚本后，为了启动服务，我运行了

{HADOOP_HOME}/bin/start-all.sh

参考：感谢Brock Noland https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/H6wAfdeLIJo

用于Hadoop EC2安装的Spark脚本：IPC客户端连接被拒绝

1 个答案: