Question

我正在运行hadoop 2.5.1并且当奴隶连接到master时我遇到了问题。我的目标是建立一个hadoop集群。我希望有人可以提供帮助，我已经用这个太长时间了！：）

这是slave的日志文件：

2014-10-18 22:14:07,368 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.0.104:8020

这是我的core-site.xml -file（在主服务器和从服务器上相同）：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://master/</value>
  </property>
</configuration>

这是我的hosts -file（在主服务器和从服务器上（几乎）相同）..我的硬编码地址没有任何成功：

127.0.0.1       localhost 
192.168.0.104   xubuntu: xubuntu
192.168.0.104   master
192.168.0.194   slave

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

来自大师的Netstats：

xubuntu@xubuntu:/usr/local/hadoop/logs$ netstat -atnp | grep 8020
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 192.168.0.104:8020      0.0.0.0:*               LISTEN      26917/java      
tcp        0      0 192.168.0.104:52114     192.168.0.104:8020      ESTABLISHED 27046/java      
tcp        0      0 192.168.0.104:8020      192.168.0.104:52114     ESTABLISHED 26917/java

从主人到主人的Nmap：

Starting Nmap 6.40 ( http://nmap.org ) at 2014-10-18 22:36 EEST
Nmap scan report for master (192.168.0.104)
Host is up (0.000072s latency).
rDNS record for 192.168.0.104: xubuntu:
PORT     STATE SERVICE
8020/tcp open  unknown

..和nmap从slave到master（即使端口打开，slave也没有连接到它......）：

ubuntu@ubuntu:/usr/local/hadoop/logs$ nmap master -p 8020
Starting Nmap 6.40 ( http://nmap.org ) at 2014-10-18 22:35 EEST
Nmap scan report for master (192.168.0.104)
Host is up (0.14s latency).
PORT     STATE SERVICE
8020/tcp open  unknown

这是什么一回事？问题不在于防火墙..我还阅读了每一个线程，但没有任何成功。我对此感到沮丧.. :(

Answer 1

至少有一个问题是您使用旧配置名称进行HDFS。对于2.5.1版，配置名称应为fs.defaultFS而不是fs.default.name。我还建议在值中定义端口，因此值为hdfs://master:8020。

抱歉，我不是linux大师，所以我不知道nmap，但telnet的工作是从slave到master还是端口？

即使服务正在运行且端口已打开，Hadoop从站也无法连接到主站

1 个答案: