MongoDB删除速度非常慢

时间:2013-03-10 20:57:43

标签: mongodb mongodb-query

我有一个三个mongod服务器的小副本集(每个16GB RAM,至少4个CPU核心和真正的硬盘驱动器)和一个专用仲裁器。复制的数据目前有大约100,000,000条记录。几乎所有这些数据都在一个集合中,其索引为_id(自动生成的Mongo ID)和date,这是一个本地Mongo日期字段。我会定期使用日期索引删除此集合中的旧记录,如下所示(来自mongo shell):

db.repo.remove({"date" : {"$lt" : new Date(1362096000000)}})

这确实有效,但运行速度非常慢。我的一个节点的I / O比其他两个节点慢,只有一个SATA驱动器。当此节点为主节点时,删除以约5-10个文档/秒运行。通过使用rs.stepDown(),我降低了这个较慢的主要版本并强制选举以获得具有更好I / O的主要版本。在那台服务器上,我得到大约100个docs / sec。

我的主要问题是,我应该担心吗?在我介绍复制之前,我没有这些数字,但我知道删除速度要快得多。我想知道副本集同步是否导致I / O等待,或者是否有其他原因。在删除语句完成之前暂时禁用同步和索引更新我会非常满意,但我目前还不知道有什么方法可以做到这一点。出于某种原因,当我禁用三个节点中的两个,只留下一个节点和仲裁器时,剩下的节点被降级并且写入是不可能的(不是仲裁者应该解决这个问题吗?)。

为了向您提供一般性能的指示,如果我删除并重新创建日期索引,则扫描所有100M文档大约需要15分钟。

2 个答案:

答案 0 :(得分:8)

这种情况正在发生,因为即使

db.repo.remove({"date" : {"$lt" : new Date(1362096000000)}})

看起来像一个命令,它实际上在许多文档上运行 - 只要满足这个查询。

使用复制时,必须将每个更改操作写入名为local的{​​{1}}数据库中的特殊集合 - 简称oplog。

oplog必须为每个已删除的文档都有一个条目,并且每个条目中的每个条目都需要应用于每个辅助节点上的oplog,然后才能删除相同的记录。

我可以建议您考虑的一件事是TTL indexes - 他们会自动"根据您设置的到期日期/值删除文档 - 这样您就不会有一次大量删除,而是能够随着时间的推移分散更多负载。

答案 1 :(得分:2)

另一个可能不适合你的建议,但这对我来说是最佳解决方案:

  1. 从集合中删除indeces
  2. 遍历收集的所有条目并存储要删除到内存数组的记录的id
  3. 每次数组足够大(对我而言是10K记录),我用ids删除了这些记录
  4. 重建indeces
  5. 这是最快的方法,但它需要停止适合我的系统。