我们一直在尝试在同一LAN上配置3台PC的3节点Apache Hadoop集群。
这3台PC分别命名为thomasshelby(管理员,资源管理器),alfiesolomons,finnshelby
HDFS群集运行正常。
但是,在我的Yarn群集中,它仅显示1个活动节点(thomasshelby)。
纱线节点管理器日志:棉铃虫
可能有助于调试的屏幕截图:
在给定的Wireshark屏幕快照下,数据包显示来自小蜜蜂的数据包将送至thomasshelby(资源管理器),并且也被thomasshelby接收。
下面的屏幕快照显示thomasshelby上的所有端口都已打开
ipv6在所有计算机上也被禁用。我们使用此链接禁用(Disable Ipv6
它向我们显示了1个活动节点,这意味着thomasshelby上的nodemanager能够与resourcemanager(thomasshelby)本身相连,但是为什么同一局域网上的其他pc无法连接。我们已经尝试了Internet上许多答案中建议的yarn-site.xml的所有可能配置,但是它不起作用。已经经历了很多,但没有任何效果。请帮助我们。
/ etc / thomasshelby主机:
127.0.0.1 localhost
10.20.24.24 thomasshelby@thomasshelby
10.20.24.82 finnshelby@finnshelby
10.20.24.42 alfiesolomons@alfiesolomons
# The following lines are desirable for IPv6 capable hosts
#::1 ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters
/ etc /宿主鼠疫单胞菌:
127.0.0.1 localhost
10.20.24.24 thomasshelby
10.20.24.42 alfiesolomons@alfiesolomons
10.20.24.82 finnshelby@finnshelby
# The following lines are desirable for IPv6 capable hosts
#::1 ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters
Yarn-site.xml(在所有3个节点中相同):
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>10.20.24.24:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>10.20.24.24:8030</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.20.24.24</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>10.20.24.24:8050</value>
</property>
</configuration>