启动hadoop没有错误,但无法连接到服务器

时间:2014-07-18 12:13:49

标签: java hadoop ssh

我开始使用hadoop并且正在阅读许多教程以了解第一次启动它的所有步骤。 我正在运行从雅虎教程下载的虚拟机,预先安装了hadoop和java。

我的主要问题是: 如果我启动start-all.sh脚本(在hadoop namenode -format之后),我没有收到任何错误,但当我尝试使用hadoop fs ls连接到文件系统时,我得到以下错误:

14/07/18 04:49:43 INFO ipc.Client: Retrying connect to server: node1/10.10.104.68:9000. Already tried 0 time(s). ..... 14/07/18 04:49:52 INFO ipc.Client: Retrying connect to server: node1/10.10.104.68:9000. Already tried 9 time(s). Bad connection to FS. command aborted. exception: Call to node1/10.10.104.68:9000 failed on connection exception: java.net.ConnectException: Connection refused

在尝试找到解决此问题的方法时,我发现了以下奇怪的事情:

1。)运行stop-all.sh后写道: no jobtracker to stop node1: no tasktracker to stop no namenode to stop node1: stopping datanode localhost: stopping secondarynamenode

2。)netstat没有显示任何正在侦听端口9000的内容,为什么?

3。)当我尝试通过我的'主'电脑连接时(也停止后),hadoop的网络接口(在IP:50070和:50030上)总是在运行,为什么?

所以,它显然没有正确开始,但我真的不知道为什么...... 我已配置并仔细检查:

  • 主机文件
  • ssh配置
  • 我在core-site.xml,hdfs-site.xml中设置的属性; slave文件只有node1作为条目
  • 所有目录的权限(我也不使用tmp文件夹)

不幸的是,由于代理权限,我无法安装任何新软件包。 jps不起作用(我认为预安装的java版本不支持它!?)ps aux | grep java的结果对我来说没有多大意义。

我很高兴知道为什么它可能不起作用,或任何我应该尝试的暗示!

1 个答案:

答案 0 :(得分:0)

首先,我将转到logs文件夹并查看hadoop守护进程的日志。你会明白为什么他们没有开始。守护进程启动困难有很多简单的原因;找不到JAVA_HOME,找不到HADOOP_HOME等。日志会指向正确的方向。每个守护进程(namenode,datanode,jobtracker等)都会有一个日志文件。我先从namenode日志开始。如果namenode不高兴,没有人会高兴。

确保所有内容都安装在您认为的位置。并确保hadoop shell脚本知道如何找到这些位置。