如何存储用户日志记录

Question

最近，我们的系统需要每天存储数百万条记录。每条记录都非常简单，用户标识和点击的weburl。之后，我们在数据日志上使用了一些机器学习算法。 我们尝试过neo4j，但查询时间非常慢。例如：获取所有对userid视图相同的weburl。 那么有什么建议吗？

Answer 1

以下是我为每天支持超过10亿次交易的数据库制作的方法：

将正面表格设置为名为TBUFFER的缓冲区。 在该表中，插入要在日志表中插入的信息。

每一秒，从作业中读取TBUFFER并将数据分发到您的最终表中。 为什么这样做？能够进行大量插入。

关键是按包进行插入以划分交易数量然后锁定。

您还可以将包含许多用户日志记录的XML数据传递到数据库，并使用单个事务插入它。

Answer 2

我认为Neo4j不是存储数十亿简单，非连接记录的正确数据库。使用键值存储（如riak，redis等）。