Nodemanager无法连接到资源管理器

时间:2019-11-14 14:50:35

标签: apache hadoop hdfs cluster-computing yarn

我们一直在尝试在同一LAN上配置3台PC的3节点Apache Hadoop集群。

这3台PC分别命名为thomasshelby(管理员,资源管理器),alfiesolomons,finnshelby

HDFS群集运行正常。

DFS is running properly

但是,在我的Yarn群集中,它仅显示1个活动节点(thomasshelby)。

But in my Yarn cluster shows only 1 active node (thomasshelby)

纱线节点管理器日志:棉铃虫

Yarn nodemanager log alfiesolomons

可能有助于调试的屏幕截图:

jps on master

enter image description here

port info on thomasshelby

在给定的Wireshark屏幕快照下,数据包显示来自小蜜蜂的数据包将送至thomasshelby(资源管理器),并且也被thomasshelby接收。

WireShark on alfie

Wireshark on thomas

下面的屏幕快照显示thomasshelby上的所有端口都已打开

Yarn Resourcemanager log of master (thomas)

ipv6在所有计算机上也被禁用。我们使用此链接禁用(Disable Ipv6

它向我们显示了1个活动节点,这意味着thomasshelby上的nodemanager能够与resourcemanager(thomasshelby)本身相连,但是为什么同一局域网上的其他pc无法连接。我们已经尝试了Internet上许多答案中建议的yarn-site.xml的所有可能配置,但是它不起作用。已经经历了很多,但没有任何效果。请帮助我们。

/ etc / thomasshelby主机:

127.0.0.1       localhost
10.20.24.24 thomasshelby@thomasshelby
10.20.24.82 finnshelby@finnshelby
10.20.24.42 alfiesolomons@alfiesolomons


# The following lines are desirable for IPv6 capable hosts
#::1     ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters

/ etc /宿主鼠疫单胞菌:

127.0.0.1 localhost
10.20.24.24 thomasshelby
10.20.24.42 alfiesolomons@alfiesolomons
10.20.24.82 finnshelby@finnshelby


# The following lines are desirable for IPv6 capable hosts
#::1     ip6-localhost ip6-loopback
#fe00::0 ip6-localnet
#ff00::0 ip6-mcastprefix
#ff02::1 ip6-allnodes
#ff02::2 ip6-allrouters

Yarn-site.xml(在所有3个节点中相同):

    <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.20.24.24:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.20.24.24:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>10.20.24.24</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.20.24.24:8050</value>
    </property>
</configuration>

0 个答案:

没有答案