问题

Question

问题

我需要加快这种查询：

db.col.find({ a: "foobar", b: { $exists: true} });

数据分发

字段的存在：

字段a存在于所有文档
字段b仅存在于其中的约10％。

当前表格统计数据：

db.col.count() // 1,050,505
db.col.count({ a : "foobar" }) // 517.967
db.col.count({ a : "foobar", b : { $exists: true} }) // 44.922
db.col.count({ b : { $exists: true} }) // 88.981

Futrue数据增长：

到目前为止已经装载了两批（2x大约500,000）。每个月将增加另一批约500,000份文件。 a字段是此批次的名称。那些新添加的文档将具有相同的字段分布（大约10％的新加载文档将具有b字段）

我的尝试和研究

我在{a:1, b:1}上创建了一个稀疏索引，但由于a存在于所有文档中，因此不会加快速度。这是因为MongoDB中稀疏索引的行为。来自docs：

只有文档包含至少一个键时，只包含升序/降序索引键的稀疏复合索引才会索引文档。

这是上层查询的.explain()：

{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "myCol",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [ 
                {
                    "a" : {
                        "$eq" : "foobar"
                    }
                }, 
                {
                    "b" : {
                        "$exists" : true
                    }
                }
            ]
        },
        "winningPlan" : {
            "stage" : "KEEP_MUTATIONS",
            "inputStage" : {
                "stage" : "FETCH",
                "filter" : {
                    "b" : {
                        "$exists" : true
                    }
                },
                "inputStage" : {
                    "stage" : "IXSCAN",
                    "keyPattern" : {
                        "a" : 1,
                        "b" : 1
                    },
                    "indexName" : "a_1_b_1",
                    "isMultiKey" : false,
                    "direction" : "forward",
                    "indexBounds" : {
                        "a" : [ 
                            "[\"foobar\", \"foobar\"]"
                        ],
                        "b" : [ 
                            "[MinKey, MaxKey]"
                        ]
                    }
                }
            }
        },
        "rejectedPlans" : []
    },
    "executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 44922,
        "executionTimeMillis" : 208656,
        "totalKeysExamined" : 517967,
        "totalDocsExamined" : 517967,
        "executionStages" : {
            "stage" : "KEEP_MUTATIONS",
            "nReturned" : 44922,
            "executionTimeMillisEstimate" : 180672,
            "works" : 550772,
            "advanced" : 44922,
            "needTime" : 473045,
            "needFetch" : 32804,
            "saveState" : 41051,
            "restoreState" : 41051,
            "isEOF" : 1,
            "invalidates" : 0,
            "inputStage" : {
                "stage" : "FETCH",
                "filter" : {
                    "b" : {
                        "$exists" : true
                    }
                },
                "nReturned" : 44922,
                "executionTimeMillisEstimate" : 180612,
                "works" : 550772,
                "advanced" : 44922,
                "needTime" : 473045,
                "needFetch" : 32804,
                "saveState" : 41051,
                "restoreState" : 41051,
                "isEOF" : 1,
                "invalidates" : 0,
                "docsExamined" : 517967,
                "alreadyHasObj" : 0,
                "inputStage" : {
                    "stage" : "IXSCAN",
                    "nReturned" : 517967,
                    "executionTimeMillisEstimate" : 3035,
                    "works" : 517967,
                    "advanced" : 517967,
                    "needTime" : 0,
                    "needFetch" : 0,
                    "saveState" : 41051,
                    "restoreState" : 41051,
                    "isEOF" : 1,
                    "invalidates" : 0,
                    "keyPattern" : {
                        "a" : 1,
                        "b" : 1
                    },
                    "indexName" : "a_1_b_1",
                    "isMultiKey" : false,
                    "direction" : "forward",
                    "indexBounds" : {
                        "a" : [ 
                            "[\"foobar\", \"foobar\"]"
                        ],
                        "b" : [ 
                            "[MinKey, MaxKey]"
                        ]
                    },
                    "keysExamined" : 517967, // INFO: I think that this is too much. These are all documents having a:"foobar"
                    "dupsTested" : 0,
                    "dupsDropped" : 0,
                    "seenInvalidated" : 0,
                    "matchTested" : 0
                }
            }
        },
        "allPlansExecution" : []
    },
    "serverInfo" : {
        "host" : "productive-mongodb-16",
        "port" : 27000,
        "version" : "3.0.1",
        "gitVersion" : "534b5a3f9d10f00cd27737fbcd951032248b5952"
    }
}

所有1,000,000个文档中都存在

a，其中520,000个文档a:"foobar"。在整个集合中，88,000有b字段。

如何加速查询（以便IXSCAN仅返回44k而不是520k）？

Answer 1

你似乎没有理解的是$exists无法抓住＆＃34;任何方式的索引，即使在稀疏的地方。正如文档本身所说：

＆＃34;如果稀疏索引会导致查询和排序操作的结果集不完整，MongoDB将不会使用该索引＆＃34;

这些页面中给出的示例是{ "$exists": false }查询。但是反向逻辑条件在这里没有任何区别。

为了获得全部收益＆＃34; ＆＃34;稀疏＆＃34;那么你需要考虑＆＃34;类型＆＃34;它保存并适当查询的数据。

对于数字，例如：

db.collection.find({ "a": "foobar", "b": { "$gte": -9999, "$lte": 9999 } })

其中使用索引，稀疏的索引。或者基于文本：

db.collection.find({ "a": "foobar", "b": /.+/ })

哪个也会使用稀疏索引，只看那些＆＃34; b＆＃34;已定义。

对于＆＃34;阵列＆＃34;然后＆＃34;小心＆＃34;。正如所看到的值可能是以上之一，除非你这样做：

db.collection.insert({ "a": 1, "b": [[]] })

然后这是可以的：

db.ab.find({ "a": 1, "b": { "$type": 4 } })

但是并没有真正使用＆＃34;稀疏＆＃34;索引是出于同样的原因$exists在这里不起作用。

因此，您需要了解这里的术语含义，并且＆＃34;适当地查询＆＃34;如果您希望获得最大性能，则使用您创建的索引定义。

这些是您可以自己测试并看到结果是真实的明显示例。我确实希望核心文件在这些方面更清楚，但我也知道很多人都试图做出贡献（并且已经产生了很好的解释），但迄今为止都没有包括这些内容。

猜猜这就是你在这里问的原因。

$ exists的最佳复合索引：true（稀疏索引）

问题

数据分发

字段的存在：

当前表格统计数据：

Futrue数据增长：

我的尝试和研究

1 个答案: