有效处理“大数据”的技术(读取,写入,查询,聚合)

时间:2011-06-21 16:40:21

标签: php mysql analytics

为Web应用程序构建概念验证分析仪表板功能,允许用户查看访问其个人资料的人员以及查看他们发布的内容。想想.me风格的仪表板。

当用户在应用程序中执行相关操作时,当前将数据点(主题,动词,对象,时间戳元组格式)写入MySQL表(快速接近一百万条记录)。使用cURL + cron作业+消息队列机制,这种写入不同步。

不确定如何在分析仪表板上进行实际整理,汇总和呈现此数据的方式,这种方式不会占用我服务器上太多的资源。

寻找技巧,战争故事和技术,以简化我的生活。

1 个答案:

答案 0 :(得分:1)

为什么不从select查询开始,看看它是如何执行的? 如果你遇到缓慢,你总是可以:

  • 调整查询,使用内存表,使用触发器创建创意,黑洞表等等。
  • 安装从属服务器并从从属服务器中进行选择。
  • 安装黑洞主机并将多个从机连接到

我建议您阅读高性能MySQL:http://oreilly.com/catalog/9780596003067