在所有消耗CPU周期的节点上频繁压缩OpsCenter.rollup_state

时间:2019-01-03 06:59:34

标签: cassandra datastax datastax-enterprise cassandra-3.0

我正在使用Datastax Cassandra 4.8.16。在VM的每个DC上具有8个DC和5个节点的群集。在过去的几周中,我们观察到以下性能问题

1)增加虚拟机的删除计数。

enter image description here

2)LOCAL_QUORUM无法完成某些写操作。

3) OpsCenter.rollup_state system.hints 的频繁压缩在Opscenter中可见。

感谢所有帮助找出根本原因的帮助。

1 个答案:

答案 0 :(得分:2)

存在丢失的突变意味着集群严重超载。它可能是主要负载的增加,所以它+来自OpsCenter的负载,系统已超负荷-您需要查看有关每个节点和每个表的请求数量,延迟等的统计信息,以了解发生增长的地方。另请检查计算机的I / O统计信息(例如,使用iostat)-队列大小,读/写延迟等。

此外,建议使用专用的OpsCenter群集来存储指标-它可以更小,并且不需要DSE的额外许可证。在OpsCenter's documentation中怎么说:

  

重要:在生产环境中,DataStax强烈建议将数据存储在单独的DataStax Enterprise群集中。

关于虚拟机-通常不建议您进行设置,而是很大程度上取决于哪种底层硬件-CPU,RAM,磁盘系统的数量。