我的node.js应用正在生成大量文本日志(每位用户每天100个)。我每天有10k活跃用户,每天大约100k日志用于我的应用程序存储。格式如下:
time | log_type_id | action_id | message | user_ip
无法归档。大多数此类日志记录数据必须可供其用户显示。
问题是存储日志的最快,最有效的磁盘空间和性能方式是什么?
奖金质疑排序,分析所有这些数据的最佳方法是什么?
答案 0 :(得分:3)
问题是存储日志的最快,最有效的磁盘空间和性能方式是什么?
最快,最有效的存储日志方式?好吧,顺便写的文件当然......
奖金质疑排序,分析所有这些数据的最佳方法是什么?
最好使用关系数据库。
这凸显了这种权衡。如果您所做的只是保存日志以供人员查看,那么您将使用更少的空间并更快地写入日志文件。另一方面,虽然日志文件非常适合写入信息,但它们对于消化和分析它们并不是那么好。一般而言,关系数据库即使在写作时没有那么高效的存储方式或性能方面也会胜出。