通过时间戳分组数据的理想数据库

时间:2014-07-22 20:19:04

标签: cassandra log-analysis bigdata database nosql

我正在测试一些用于处理一些基本日志分析的noSql解决方案。我正在寻找针对读取进行优化的东西。数据有一个时间戳和其他一些我想要计算和总和的列。我需要能够对年,月,日,小时和某些其他列的值进行分组和求和。 我的数据可能会在大约5000万条记录中运行,并且可能来自单个服务器(无需分片或水平扩展),但RESTful API可以轻松地与其他应用程序捆绑。

我目前正在尝试使用couchDB,但想知道是否有更适合此任务的内容。

我可以改进这个地图和整体表现,但是想检查一些其他选项。

function(doc) {
  ts = doc.timestamp.split(/[^A-Z0-9\_]+/i)
  emit([ts[0],ts[1],ts[2],ts[3],ts[4], doc.eventtype,doc.name],1);
}

我没有使用关系数据库,因为基于事件类型的数据条目不同,我希望能够动态处理数据,而不是每次都需要更新模式记录事件类型。

1 个答案:

答案 0 :(得分:1)

使用专为此类数据持久性而设计的时间序列数据库。