我正在创建一个会进行大量搜索的网站,我需要记录每次搜索的数据,以供日后分析。
我预计最终会在多个服务器之间分配负载,然后每个月我都会下载并将所有日志导入到我的一个mysql数据库中进行分析。
目前我一直在考虑将每台服务器设置为mysql“master”,它将实时更新从属分析服务器,并且基本上也可以充当备份。
然而,我的目标是提高效率。显然,mysql复制的好处是我总是集中使用日志,而且不必每个月在每台服务器上导入和重置日志文件。
登录明文文件并且每月只转储这个日志文件并集中导入到mysql会有多高效?明文转储是否比mysql更有效/更快?
感谢您的想法!
答案 0 :(得分:1)
数据库非常强大,不仅仅是插入。它们对于锁定机制,事务管理,快速搜索,连接池以及列表都很有用。
另一方面,如果你需要做的就是将一大块数据写入磁盘,那么数据库将是一个巨大的开销。
鉴于上述情况,并且由于您只想整月编写内容,我建议您使用日志,并且每月一次 - 获取日志,将它们合并在一起并进行分析。然后,您可以决定是否要将所有这些内容合并到一个数据库中(如果它有意义并为您提供一些附加值),或者您只想将文本合并在一起。
顺便说一下,您可能希望将INSERT语句保存到此日志中,然后将其用作脚本以将所有内容加载到数据库中。试一试: - )