Mongo突然忽略了大集合中的索引

时间:2015-02-10 17:50:46

标签: mongodb mongodb-query

我收藏了大约2200万份文件,每份文件都很小。此集合每天增加数千条记录,因此according to this documentation我们的查询计划始终无效并且重建时没有问题。 一周前,我在这个集合中添加了一个新索引(在后台)并对其进行了一些查询。大约一天后,我们经历了停机时间,并将其追溯到突然进行全面扫描的常规查询(可能每秒都针对此集合运行)。我捕获了一些显示此信息的分析数据。 为了解决这个问题,我重新启动了mongo,并且在它再次发生之前它再行动了一天。在预感中,我删除了我创建的新索引,从那以后我们还没有看到这个问题。 在什么情况下mongo突然开始忽略索引?可能是这样的情况,提供索引提示可以解决这个问题,但这会让我觉得我写的所有mongo查询,对于任何集合,都应该提供索引提示。这真的有必要吗?

编辑:我可以提供有问题的查询:
Following.find( {user: userDoc._id, followedUser: {$exists: true}} ) 和捕获的个人资料数据:

{
    "op" : "query",
    "ns" : "figure1.following",
    "query" : {
        "$query" : {
            "followedUser" : {
                "$exists" : true
            },
            "user" : ObjectId("54243fce5fce0dcc0d2e23b3")
        },
        "orderby" : {
            "created" : -1
        }
    },
    "ntoreturn" : 0,
    "ntoskip" : 0,
    "nscanned" : 22542697,
    "nscannedObjects" : 22542697,
    "keyUpdates" : 0,
    "numYield" : 8645,
    "lockStats" : {
        "timeLockedMicros" : {
            "r" : NumberLong(720504269),
            "w" : NumberLong(0)
        },
        "timeAcquiringMicros" : {
            "r" : NumberLong(26364170),
            "w" : NumberLong(2108)
        }
    },
    "nreturned" : 2,
    "responseLength" : 82,
    "millis" : 390517,
    "execStats" : {
        "type" : "PROJECTION",
        "works" : 22542699,
        "yields" : 178440,
        "unyields" : 178440,
        "invalidates" : 0,
        "advanced" : 2,
        "needTime" : 0,
        "needFetch" : 0,
        "isEOF" : 1,
        "children" : [
            {
                "type" : "FETCH",
                "works" : 22542699,
                "yields" : 178440,
                "unyields" : 178440,
                "invalidates" : 0,
                "advanced" : 2,
                "needTime" : 22542696,
                "needFetch" : 0,
                "isEOF" : 1,
                "alreadyHasObj" : 0,
                "forcedFetches" : 0,
                "matchTested" : 2,
                "children" : [
                    {
                        "type" : "IXSCAN",
                        "works" : 22542698,
                        "yields" : 178440,
                        "unyields" : 178440,
                        "invalidates" : 0,
                        "advanced" : 22542697,
                        "needTime" : 1,
                        "needFetch" : 0,
                        "isEOF" : 1,
                        "keyPattern" : "{ created: 1.0 }",
                        "isMultiKey" : 0,
                        "boundsVerbose" : "field #0['created']: [MaxKey, MinKey]",
                        "yieldMovedCursor" : 0,
                        "dupsTested" : 0,
                        "dupsDropped" : 0,
                        "seenInvalidated" : 0,
                        "matchTested" : 0,
                        "keysExamined" : 22542697,
                        "children" : [ ]
                    }
                ]
            }
        ]
    },
    "ts" : ISODate("2015-02-06T21:09:43.550Z"),
    "client" : "10.165.78.55",
    "allUsers" : [ ],
    "user" : ""
}

followedUseruser都会单独编号,并与created字段一起编制索引。问题开始于我在created字段上添加索引后的一天(您可以在配置文件数据中看到它作为排序字段)。我意识到$ exists不会使用索引,这是我可以改变的东西,但我担心的是mongo似乎选择了一个非常糟糕的查询计划。

补充说明:问题首先发生在mongo 2.6.4中,我可以看到它有一个看起来非常类似的问题(JIRA-14961)。但是在我杀死mongo并重新启动之后,它运行了2.6.6,问题再次发生,所以我不认为这是错误14961中的问题。

1 个答案:

答案 0 :(得分:1)

我自己遇到了这个问题,我怀疑这可能是原因:

https://jira.mongodb.org/browse/SERVER-15802

从2.6.3升级到2.6.9后,我还没有看到它复发(到目前为止)。