我不知道为什么我的cassandra有这么大的提示表?

时间:2016-05-23 03:04:51

标签: apache-spark solr cassandra datastax

我的群集有2个数据中心。第一个数据中心有1个启用了spark和solr的节点,另一个数据中心有5个启用了spark的节点。过了一会儿,所有节点都有几个100GB的提示表。但我的节点状态全部可用且正常。它没有显示节点已关闭,但提示表只是继续增加。结果是,一段时间后将使用所有磁盘空间并且节点死亡并且系统崩溃。我不知道为什么会这样?

感谢您的建议。

1 个答案:

答案 0 :(得分:2)

您不知道哪些节点/数据中心有不断增长的提示表,但我的猜测是1节点数据中心没有足够的处理能力来跟上从5节点数据中心复制的写入。我会说使用Spark时情况尤其如此 - 除非你使用cassandra.output参数来控制写入速度,否则Spark写入很容易压倒集群。

此处的另一个因素是您正在使用的一致性级别 - LOCAL_ *一致性级别仅需要将写入写入本地DC以使操作被视为成功(并且将存储提示以便复制到另一个DC) )。

干杯 本