大型mongo更新队列突发问题

时间:2014-02-10 19:00:18

标签: mongodb

我正在使用mongo进行一些用户分析跟踪。根据用户的电子邮件地址,我平均每秒约200次更新文档(大约400k)。按字母顺序按电子邮件分割3个分片。除了每日用户状态更改脚本之外,它工作得很好。它将请求突发到每秒大约6k。

这会导致尾部旋转效应,它会使mongo队列重载,并且它似乎永远不会再次赶上。脚本失败,老板生气等等。他们也不会允许脚本受到限制。由于它们是更新操作而不是插入,因此无法批量提交。我看到的选项是。

1 :)找到一种方法将大型队列分配给mongo,这样它就可以等待低点并更新数据

2 :)编写自定义限制解决方案

3 :)寻找更有效的索引策略(目前只是索引电子邮件地址)

几乎所有东西都摆在桌面上。

非常感谢任何帮助

0 个答案:

没有答案