连接到HDFS Namenode时出现问题

时间:2014-06-18 18:20:55

标签: hadoop hdf

在新的hadoop单节点安装之后,我在hadoop-root-datanode-localhost.localdomain.log

中遇到以下错误
 2014-06-18 23:43:23,594 ERROR org.apache.hadoop.security.UserGroupInformation:  PriviledgedActionException as:root cause:java.net.ConnectException: Call to localhost/127.0.0.1:54310 failed on connection exception: java.net.ConnectException: Connection refused

2014-06-18 23:43:23,595 INFO org.apache.hadoop.mapred.JobTracker: Problem connecting to HDFS Namenode... re-trying java.net.ConnectException: Call to localhost/127.0.0.1:54310  failed on connection exception: java.net.ConnectException: Connection refusedat org.apache.hadoop.ipc.Client.wrapException(Client.java:1142)

任何想法。?

  

JPS没有提供任何输出

核心site.xml已更新

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/surya/hadoop-1.2.1/tmp</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

</configuration>

此外,在使用 hadoop namenode -format 的格式上 得到以下中止错误

Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name

3 个答案:

答案 0 :(得分:1)

您需要运行hadoop namenode -format作为hdfs-superuser。可能是“hdfs”用户本身。

这里可以看到提示:

UserGroupInformation:  PriviledgedActionException as:root cause:java

需要考虑的另一件事:你真的想把你的hdfs root移到/ tmp以外的东西。清理/ tmp时可能会丢失hdfs内容(这可能随时发生)

更新基于OP评论。

RE:JobTracker无法联系NameNode:请不要跳过步骤。

  • 首先确保格式化NameNode
  • 然后启动NameNode和DataNodes
  • 运行一些基本的HDFS命令,例如

    hdfs dfs -put

hdfs dfs -get
  • 然后你可以启动JobTracker和TaskTracker
  • 然后(而不是更早)您可以尝试运行一些MapReduce作业(使用hdfs)

答案 1 :(得分:0)

1)请运行&#34; jps&#34;在控制台中显示它输出的内容
2)请提供core-site.xml(我想你可能有错误的fs.default.name)

答案 2 :(得分:0)

关于此错误:

Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name

你需要使用大写Y而不是小写y才能接受输入并实际进行格式化。