NoSQL(BigTable ......)和时间序列数据

时间:2013-03-28 14:43:59

标签: time-series bigtable

我在一个收集/存储大量时间序列数据的组织中工作( time = value,time = value ... )。今天,我们使用历史数据库来收集和处理这些数据。使用历史数据库的主要优点是压缩数据并在数据存储方面更有效。然而,对于大数据,NoSQL等技术,压缩数据(因为存储$$)的努力似乎正在消退,趋势是存储“大量”数据。

  1. 有没有人尝试过更换时间序列历史学家 BigData解决方案?我知道OpenTSDB,有人用过这个 非IT角色?
  2. NoSQL数据库( Cassandra ...... )是否适合时间序列 数据?如果是这样,实现可能是什么样的?

1 个答案:

答案 0 :(得分:0)

仅仅收集或存储的重要性或分析的速度或简易性是否必不可少?

对于大多数合理的数据大小,标准SQL就足够了。

在此之上,特别是对于分析,您最好需要一个内存和列导向数据库。在最高端,这意味着所有主要银行(价格昂贵)使用kx.com的kdb。但是你要专门询问开源,我会考虑内存中的monetdb或mysql,具体取决于你的数据大小和访问要求。

Cassandra是nosql群中更合适的选择之一,人们已经尝试过使用它: http://www.datastax.com/dev/blog/advanced-time-series-with-cassandra http://synfin.net/sock_stream/technology/advanced-time-series-metric-data-with-cassandra

我发现我花了很多时间在最小的数据级别上进行攻击,以便开始工作并创建大量冗长的代码。然后,它将我的数据传播到多个服务器上,并尝试使用多台计算机来弥补低效的存储。当我评估时,它的时间支持和操作时间的功能很差,我做的不仅仅是轻松拉出范围。出于这些原因,我从cassandra搬了过来。