Question

所以我按照本指南设置mu多节点群集：http://disi.unitn.it/~lissandrini/notes/installing-hadoop-on-ubuntu-14.html 当我完成所有设置并运行start-dfs.sh之后，当我运行jps时，只启动了SecondaryNameNode。这是我的core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://mynode1/</value>
    <description>NameNode URI</description>
</property>

</configuration>

和我的hdfs.xml

<configuration>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop/data/datanode</value>
    <description>DataNode directory</description>
</property>

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop/data/namenode</value>
    <description>NameNode directory for namespace and transaction logs storage.</description>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.datanode.use.datanode.hostname</name>
    <value>false</value>
</property>
<property>
    <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
    <value>false</value>
</property>
</configuration>

和我的/ etc / hosts

127.0.0.1       localhost

54.225.196.4    mynode1
54.80.40.198    mynode2

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

这是我的名字日志

2014-10-26 01:16:57,756 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = ip-10-169-41-62.ec2.internal/10.169.41.62
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 2.4.1

我注意到的是，如果我将设置中的所有内容从mynode1更改为localhost，那么看起来namenode可以启动，但node2中的datanode不会响应master，我无法将文件上传到hdfs

Answer 1

我建议您使用本教程here。我使用它，一切正常，我只是将端口号从8020 t0 9000和8021改为9001。

核心和hdfs文件不正确。我无法理解您要部署的节点数。所以，在我通过上述链接审核你的时候更改你的教程，如果你有任何问题，请告诉我。

namenode无法在ec2中的多节点集群中启动

1 个答案: