无法访问AWS EC2中启动的spark群集中的HDFS

时间:2014-08-14 03:06:08

标签: amazon-web-services amazon-ec2 cluster-computing hdfs apache-spark

我在Ec2中推出了一个带有一个奴隶和ebs-vol-size 50GB的火花星团。我登录到群集的其中一个节点,然后转到/ root / persistent-hdfs文件夹。 当我运行命令时,bin / hadoop fs -ls /我收到了以下错误。它的工作原理来自/ root / ephermal文件夹。

  

[ec2-user @ ip-172-31-36-159 persistent-hdfs] $ bin / hadoop fs -ls   /root/persistent-hdfs/libexec/../conf/hadoop-env.sh:line 69:ulimit:打开文件:无法修改限制:不允许操作   警告:不推荐使用$ HADOOP_HOME。

     

14/08/14 03:03:53 INFO ipc.Client:重试连接到服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了0次。

     

14/08/14 03:03:54 INFO ipc.Client:重试连接到服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了1次。

     

14/08/14 03:03:55 INFO ipc.Client:重试连接服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了2次。

     

14/08/14 03:03:56 INFO ipc.Client:重试连接服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了3次。   14/08/14 03:03:57 INFO ipc.Client:重试连接服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了4次。

     

14/08/14 03:03:58 INFO ipc.Client:重试连接到服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了5次。

     

14/08/14 03:03:59 INFO ipc.Client:重试连接到服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了6次。

     

14/08/14 03:04:00 INFO ipc.Client:重试连接到服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了7次。

     

14/08/14 03:04:01 INFO ipc.Client:重试连接服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了8次。

     

14/08/14 03:04:02 INFO ipc.Client:重试连接服务器:ec2-54-164-6-0.co mpute-1.amazonaws.com/172.31.35.144:9010。已经尝试了9次。

     

与FS连接不良。命令中止。异常:在连接异常时调用ec2-54-164-6-0.compute -1.amazonaws.com/172.31.35.144:9010失败:java.net.Con nectException:Connection refused   [ec2-user @ ip-172-31-36-159 persistent-hdfs] $

1 个答案:

答案 0 :(得分:1)

我认为您需要启动该服务。

persistent-hdfs/bin/start-all.sh