存储和显示统计信息

Question

我将用PHP编写一些软件来解析日志文件并聚合数据然后将它们显示在图形中（如条形图，而不是顶点和边缘）。

是的，它基本上是商业智能软件，我公司有一个整个团队，但显然他们做得不好（10分钟加载页面就是不这样做）。

以下是我必须做的事情：

• 日志文件是数据文件，用于存储我们从办公室运行的stats服务器的原始数据（我们向stats服务器发送异步调用，如google analytics）。它以csv格式存储数据。
• 编写脚本来解析文件并将数据聚合到数据库中（或者我正在考虑redis）
• 将有数以百万计的东西要聚合，所以在显示统计数据时必须快速

我知道数据库的OLAP，但如果我想使用redis，你认为它会扩展到大量数据吗？要解析文件，您认为PHP脚本是否足够，或者我应该使用像C / C ++这样更快的东西？

基本上我想得到一些关于完成任务的不同方法的有趣想法。它必须快速和规模。

有什么想法吗？

Answer 1

听起来就像你在谈论的尺度，你需要分开数据聚合和显示。也就是说，您应该有一些进程在生成日志文件时接收它们，解析它们并将数据插入到数据库中;这将是一项漫长而复杂的任务。然后，当用户想要显示数据图时，他们可以向PHP服务器发出请求，这将从数据库中提取数据并构建他们想要的显示。通过这种方式，您的解析与您的显示请求分开（尽管它仍然依赖于串行，您的解析可以在日志文件可用时开始，因此，解析它们所涉及的延迟在显示时隐藏）。