群集创建 - AWS - EMR - *:9000连接异常失败:java.net.ConnectException:连接被拒绝;

时间:2016-04-08 02:44:16

标签: hadoop amazon-web-services hdfs emr amazon-emr

几周前我开始在aws emr上做测试,但我有一个随机的问题。我从控制台启动一个集群,如下所示:

aws emr create-cluster --name "Prueba zookeeper y giraph" --use-default-roles --ec2-attributes KeyName=keyPairAmazonJose --applications Name=MapR,Args=--edition,m3,--version,4.0.2 --ami-version 3.3.2  --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge InstanceGroupType=CORE,InstanceCount=1,InstanceType=m3.xlarge

群集成功启动。我可以通过master public dns名称登录master。当我在集群上执行基本操作时出现问题,例如:

hdfs dfsadmin -report

有一半时间,群集会抛出这样的异常:

Call From ip-172-31-29-147.sa-east-1.compute.internal/172.31.29.147 to ip-172-31-29-147.sa-east-1.compute.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

据我所知,我正在使用群集"原样",没有重大更改,因此,此命令应该始终有效,对吧?

1 个答案:

答案 0 :(得分:0)

这似乎只是时间问题。群集启动时,

hdfs dfsadmin -report

没有工作。但如果我们期待更长一点,它的工作完全正常(我们可以通过jps观察)。

亚马逊论坛的回答是,没有添加任何信息,只是建议我切换我正在使用的群集类型here