Cassandra压实卡住?我应该停用吗?

时间:2015-11-09 20:09:02

标签: cassandra nodetool

在Opscenter中,我看到其中一个节点是橙色的。看起来它正在努力压实。 我使用了nodetool compactionstats,每当我这样做时,Completed nad百分比保持不变(即使中间有几小时)。我目前没有看到该节点上来自cassandra的cpu负载。 所以它似乎陷入困境(60%左右)。还有一些其他节点在同一列上有压缩。 我没有看到任何进展。

编辑:突然间,我又看到了一个变化。然而,进展没有上升。它来自+ 60%,目前为50.95%。所以似乎重新启动了压缩。 EDIT2:看起来它实际上突然完成,我混淆了2个同样命名的columnfamilies。 编辑3:完成是在另一个似乎陷入困境的节点上。其中一个节点仍处于“卡住”状态,耗尽并且不使用cpu for java。

 WARN [RMI TCP Connection(554)-192.168.0.68] 2015-11-09 17:18:13,677 ColumnFamilyStore.java (line 2101) Unable to cancel in-progress compactions for usage_record_ptd.  Probably there is an unusually large row in progress somewhere.  It is also possible that buggy code left some sstables compacting after it was done with them
  • 我怎样才能确保什么都没发生?
  • 是否建议从特定数据大小禁用压缩? (我相信每个节点都有25GB)。
  • 我可以停止这种压缩吗? nodetool stop compaction似乎不起作用。
  • 停止压实危险吗?
  • 在压缩时杀死cassandra进程是危险的(我在一个节点上做了nodetool排放)?

还有其他言论吗?非常感谢提前!

这是对于似乎卡住的键空间grepped的nodetool compactionstats的输出。

4e48f940-86c6-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447062197972             52321301       16743606       {1:2, 4:248}
94acec50-86c8-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447063175061             48992375       13420862       {3:3, 4:245}
3210c9b0-8707-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447090067915             52763216       17732003       {1:2, 4:248}
24f96fe0-86ce-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447065564638             44909171       17029440       {1:2, 3:39, 4:209}
06d58370-86ef-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447079687463             53570365       17873962       {1:2, 3:2, 4:246}
f7aa5fa0-86c7-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447062911642             47701016       13291915       {3:2, 4:246}
806a4380-86f7-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447083327416             52644411       17363023       {1:2, 2:1, 4:247}
c845b900-86c5-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447061973136             48944530       16698191       {1:2, 3:6, 4:242}
bb44a0b0-8718-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447097599547             48768463       13518523       {2:2, 3:5, 4:242}
f2c17ea0-86c3-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447061185418             90367799       13904914       {5:4, 6:7, 7:52, 8:185}
1aae6590-86ce-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447065547369             53190698       17228121       {1:2, 4:248}
d7ca8d00-86d5-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447068871120             52422499       16995963       {1:2, 3:3, 4:245}
6e890290-86df-11e5-96be-dd3c9e46ec74     mykeyspace            mycolumnfamily             1447072989497             45218168       17174468       {1:2, 3:21, 4:227}

我也经常在system.log中看到这样的行:

WARN [Native-Transport-Requests:11935] 2015-11-09 20:10:41,886 BatchStatement.java (line 223) Batch of prepared statements for [billing.usage_record_by_billing_period, billing.metric] is of size 53086, exceeding specified threshold of 5120 by 47966.

0 个答案:

没有答案