在Apache Storm UI上运行多个Supervisor时出错

时间:2017-06-09 06:34:01

标签: centos apache-zookeeper apache-storm supervisor nimbus

我们在一台机器上运行zookeeper,在第二台运行Nimbus,然后在不同的机器上运行两名主管(工人)。

Zookeper在Windows 7上运行,其他所有运行在Cent OS上。

现在的问题是,当我们在运行nimbus的机器上运行风暴UI时,它只显示单个主管(在刷新页面时,两个主管之间会随机切换)。

如何在UI上同时显示它们?

#Zookeeper ip = 10.135.155.133
#Nimbus ip = 10.135.158.22
#Supervisor 1 ip = 10.135.156.63
#supervisor 2 ip = 10.135.156.162

下面是zookeper的zoo.cfg文件(在第一台机器上)

tickTime=2000

initLimit=10

syncLimit=5

dataDir=D:\\tmp\\zookeeper

clientPort=2181

下面是运行nimbus的Storm.yaml文件配置(在第二台机器上)

storm.zookeeper.servers:
    - "10.135.155.133"

storm.local.dir: "/storm/apache-storm-1.1.0/lib/" 

nimbus.host: "10.135.158.22"

下面是运行主管1(在第三台机器上)的Storm.yaml文件配置

storm.zookeeper.servers:
    - "10.135.155.133"



supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

 storm.local.dir: "/storm/apache-storm-1.1.0/new" 

 nimbus.host: "10.135.158.22"

下面是运行主管2的Storm.yaml文件配置(在第四台机器上)。

storm.zookeeper.servers:
    - "10.135.155.133"



supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

storm.local.dir:"/storm/apache-storm-1.1.0/new 2" 

nimbus.host: "10.135.158.22"

2 个答案:

答案 0 :(得分:0)

症状:

Storm UI中缺少一些管理员进程。

Storm UI中的主管列表在刷新时更改

解决方案:

确保主管本地目录是独立的(例如,不通过NFS共享本地目录) 尝试删除主管的本地目录并重新启动守护进程。

主管为自己创建一个唯一的ID并将其存储在本地。当该id被复制到其他节点时,Storm会感到困惑。

答案 1 :(得分:0)

问题是唯一的超级ID。在您的

中查看
apache-storm-1.1.0/conf/storm.yaml 

参数

storm.local.dir: "/var/lib/storm/data" 

如果使用此文件夹复制计算机,则可能会发生。删除此文件夹停止并启动主管进程,将生成新的ID

sudo rm -r /var/lib/storm/data

如果您在同一台计算机上运行多个主管,请确保您拥有不同的文件夹。