Couchbase或VoltDB用于数十亿监控数据存储和分析?

时间:2015-09-03 18:52:05

标签: monitoring couchbase analysis voltdb

我有一个分布式监控系统,可以收集和收集后端存储中的CPU利用率,数据库性能指标,网络性能等监控数据。其他应用程序需要使用这些数据,如实时计算(用于资源调度程序),用于系统监视(使用监视仪表板的系统管理员),用于历史分析(用于操作和分析器程序,以使用模式对资源进行建模以用于未来容量规划和业务系统活动分析)。

数据集大小在数据存储中大约有12亿个条目,为期9个月。 (全部采用OpenTSDB格式)

以前我使用Elasticsearch集群作为后端数据存储解决方案,并决定寻找更好的解决方案。

我正在考虑Couchbase或VoltDB群集,但仍处于调查阶段,因此需要一些具有类似经验的人士提供。

主要问题如下:

  1. 哪种后端存储解决方案适合我的方案? (Couchbase或VoltDB)?

  2. 我必须重写我的数据聚合器代码(在golang中)。 Couchbase提供了一个很好的golang SDK客户端,但VoltDB的go驱动程序仅在社区级别,功能有限。那么在golang中有没有更好的实现与voltdb通信?

  3. 有关于它的任何建议或最佳做法吗?

2 个答案:

答案 0 :(得分:1)

这里的使用模式并没有太多,但听起来像是人们使用VoltDB的应用程序。

至于Golang客户,如果特别缺少您需要的东西,我们一定会喜欢如何使其更合适。您还可以使用任何语言的HTTP / JSON查询界面,包括Golang。更多信息在这里: http://docs.voltdb.com/UsingVoltDB/ProgLangJson.php

答案 1 :(得分:-1)

如果您想利用现有模型,请查看Axibase Time-Series Database。它支持tcollector网络和http协议。规则引擎和可视化是内置的。

ATSD基于HBase的事实可能是一项资产或责任,具体取决于您之前的经验:)

tcollector整合的网址:http://axibase.com/products/axibase-time-series-database/writing-data/tcollector/

披露:我为开发ATSD的公司工作。