Storm-zookeeper事务日志极大

时间:2016-11-21 12:43:11

标签: apache-storm apache-zookeeper

我使用ZooKeeper集群(3台机器)为我的Storm集群(4台机器)。问题在于 - 由于风暴群集上部署的拓扑结构 - 动物园管理员事务日志变得非常大,使得动物园管理员桌面变满,而这些日志没有分成多个文件而真正奇怪的是我不知道这些日志。在每个zookeeper机器中都有一个大的事务文件!在我的zookeeper配置中进行自动清除不会对这些文件产生任何影响。

有没有办法从zookeeper方面解决这个问题,或者我可以改变storm使用zookeeper的方式来最小化这些日志的大小吗?
注意:我使用的是zookeeper 3.6.4和Storm 0.9.6。

1 个答案:

答案 0 :(得分:0)

我能够通过使用Pacemarker处理来自工人而不是zookeeper的心跳来解决这个问题;这使我可以避免写入zookeeper磁盘以保持一致性并使用内存存储。为了能够使用Pacemaker我升级到Storm-1.0.2。