使用(STCS)SizeTieredCompactionStrategy

时间:2015-11-24 08:26:47

标签: titan cassandra-2.1 tombstone

我有一个3节点的cassandra(2.1.8)集群,我正在使用titan db(v0.5.4)运行应用程序。数据量非常小(<20 MB),但由于我的用例需要不时删除,我已经遇到了墓碑问题。 我无法摆脱已经创建的墓碑。 我尝试的解决方案是:

  • 将指定的graphindex表的 gc_grace 降低到60秒
  • 运行nodetool flush
  • 运行nodetool修复
  • for titan.graphindex table将压缩选项设置为{'class':'SizeTieredCompactionStrategy','unchecked_tombstone_compaction':'true','tombstone_compaction_interval':'0','tombstone_threshold':'0.1'};
  • 从jmx运行forceUserDefinedCompaction。

结果统计数据有所下降,但每片平均墓碑每片最大墓碑仍然不能令人满意:

Table: graphindex
    **SSTable count: 1**
    Space used (live): 661873
    Space used (total): 661873
    Space used by snapshots (total): 0
    Off heap memory used (total): 6544
    SSTable Compression Ratio: 0.6139286819777781
    Number of keys (estimate): 4082
    Memtable cell count: 0
    Memtable data size: 0
    Memtable off heap memory used: 0
    Memtable switch count: 15
    Local read count: 25983
    Local read latency: 0.931 ms
    Local write count: 23610
    Local write latency: 0.057 ms
    Pending flushes: 0
    Bloom filter false positives: 0
    Bloom filter false ratio: 0.00000
    Bloom filter space used: 5208
    Bloom filter off heap memory used: 5200
    Index summary off heap memory used: 1248
    Compression metadata off heap memory used: 96
    Compacted partition minimum bytes: 43
    Compacted partition maximum bytes: 152321
    Compacted partition mean bytes: 203
    Average live cells per slice (last five minutes): 728.4188892737559
    Maximum live cells per slice (last five minutes): 4025.0
    **Average tombstones per slice (last five minutes): 317.34938228841935**
    **Maximum tombstones per slice (last five minutes): 8031.0**

有没有删除所有墓碑的选项?提前感谢任何建议。

1 个答案:

答案 0 :(得分:1)

问题解决了。

事实证明,有关统计数据的信息非常具有误导性,因为“每片平均墓碑(最后五分钟)”和“每片最大墓碑(最后五分钟)”以及可能的活细胞统计数据不计入最后5分钟是由nodetool cfstats写的。但它们是从节点启动以来计算的。我的节点运行了几个月,所以即使墓碑被清除,我也注意不到很大的差异,因为已经很高的统计值的天数是如此之大。重新启动节点后,统计信息清除,我可以看到压缩生效。

遗憾的是,我很难找到统计描述中有关此错误的信息(https://issues.apache.org/jira/browse/CASSANDRA-7731

希望这可以帮助某人更快地获取这些信息。