几乎实时存储和导出点击流数据的最佳方法是什么

时间:2011-04-07 18:18:28

标签: database database-design mapreduce large-data

让我们说我有一个网站获得了大量的点击。我需要将点击数据存储在某个数据库中,以便将其用于报告和监视目的。点击数据将包含诸如谁将用户引用到此站点,用户来自哪里,他们什么时间来等信息等。 有没有办法以10分钟的间隔存储然后分析这些数据,以便您可以每10分钟了解一次网站的执行情况。什么类型的数据库最适合此目的,哪种分析工具可以从这些数据中快速生成有意义的信息。我正在考虑的一个分析选项是使用map-reduce的一些变体来运行对这些数据的查询。

1 个答案:

答案 0 :(得分:0)

虽然我还没有尝试过,OpenTSDB看起来很有希望。

引用:

  

OpenTSDB是一个分布式,可扩展的   时间序列数据库(TSDB)写在上面   HBase的顶部。写的是OpenTSDB   解决一个共同的需求:商店,索引   并提供从中收集的指标   计算机系统(网络设备,   操作系统,应用程序)   规模大,轻松制作这些数据   可接近和可移动的。