存储整个网站用户活动的有效方式

时间:2010-09-01 17:56:34

标签: mysql ruby-on-rails scalability nosql

我尝试在stackoverflow上搜索以及google搜索很多,但我无法找到问题的答案(我想我正在搜索错误的关键字/术语)。

我们正在构建推荐引擎,虽然我们最初在自定义日志中记录所有用户活动(我们使用ruby / rails),但我们需要对该文件进行EOD扫描并根据用户进行排列。我们还有一些其他用户数据来自其他地方(他的fb活动,推特时间线等),因此通过EOD我们希望特定用户的所有数据都保存在某处,然后在所有的地方运行我们的分析器代码用户生成建议的数据。

问题是我们正在生成大量数据,而目前我们正在使用mysql表来存储所有这些数据,我们不确定我们还能继续这么做多少时间,因为我们的用户群增长(我们仍在内部测试它,大约有10个活动用户)。此外,作为热切的开发人员,我们希望尝试一些能满足我们需求的新东西。

这方面的任何指示都会非常有用。

1 个答案:

答案 0 :(得分:0)

结帐Amazon Elastic Map Reduce。它是为这种类型的东西而构建的。