Mongo不会通过组合两个IXSCAN来优化$或查询

时间:2017-08-18 18:52:41

标签: mongodb mongodb-query mongodb-indexes query-planner

我有一个orders集合,其中包含以下索引:

{location: 1, completedDate: 1, estimatedProductionDate: 1, estimatedCompletionDate: 1}

我正在执行以下查询:

db.orders.find({
  status: {$in: [1, 2, 3]},
  location: "PA",
  $or: [
    {completedDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}},
    {
      completedDate: null,
      estimatedProductionDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}
    }
  ]
}).explain()

我希望这会为IXSCAN的每个分支执行高效$or,然后合并结果:

        {completedDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}}

        "indexBounds" : {
            "location" : [
                "[\"TX\", \"TX\"]"
            ],
            "completedDate" : [
                "[MinKey, ISODate("2017-08-22T04:59:59.999Z")]"
            ],
            "estimatedProductionDate" : [
                "[MinKey, MaxKey]"
            ],
            "estimatedCompletionDate" : [
                "[MinKey, MaxKey]"
            ]
        }

        {
            completedDate: null,
            estimatedProductionDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}
        }

        "indexBounds" : {
            "location" : [
                "[\"TX\", \"TX\"]"
            ],
            "completedDate" : [
                "[null, null]"
            ],
            "estimatedProductionDate" : [
                "[MinKey, ISODate("2017-08-22T04:59:59.999Z")]"
            ],
            "estimatedCompletionDate" : [
                "[MinKey, MaxKey]"
            ]
        }

相反,它只限制location中的IXSCAN,并在FETCH期间完成剩余的过滤。 有没有办法优化此查询而不将其拆分为两个单独的查询?

"winningPlan" : {
    "stage" : "FETCH",
    "filter" : {
        "$and" : [
            {
                "$or" : [
                    {
                        "$and" : [
                            {
                                "completedDate" : {
                                    "$eq" : null
                                }
                            },
                            {
                                "estimatedProductionDate" : {
                                    "$lt" : "2017-08-22T04:59:59.999Z"
                                }
                            }
                        ]
                    },
                    {
                        "completedDate" : {
                            "$lt" : "2017-08-22T04:59:59.999Z"
                        }
                    }
                ]
            },
            {
                "status" : {
                    "$in" : [
                        1,
                        2,
                        3
                    ]
                }
            }
        ]
    },
    "inputStage" : {
        "stage" : "IXSCAN",
        "keyPattern" : {
            "location" : 1,
            "completedDate" : 1,
            "estimatedProductionDate" : 1,
            "estimatedCompletionDate" : 1
        },
        "indexName" : "location_1_completedDate_1_estimatedProductionDate_1_estimatedCompletionDate_1",
        "isMultiKey" : false,
        "isUnique" : false,
        "isSparse" : false,
        "isPartial" : false,
        "indexVersion" : 1,
        "direction" : "forward",
        "indexBounds" : {
            "location" : [
                "[\"TX\", \"TX\"]"
            ],
            "completedDate" : [
                "[MinKey, MaxKey]"
            ],
            "estimatedProductionDate" : [
                "[MinKey, MaxKey]"
            ],
            "estimatedCompletionDate" : [
                "[MinKey, MaxKey]"
            ]
        }
    }
},

1 个答案:

答案 0 :(得分:1)

有三个问题是显而易见的:

您的索引

我不确定您拥有的其他索引,但您的查询形状为:

{
  status:1,
  location:1,
  $or: [
    {completedDate:1},
    {completedDate:1, estimatedProductionDate:1}
  ]
}

您的索引不包含 status这个词。您需要索引中的status字段才能最大化索引使用。

您的$或查询

解释页面$or Clauses and Indexes

  

...对于MongoDB使用索引来计算$或表达式,$或表达式中的所有子句必须由索引支持。否则,MongoDB将执行集合扫描。

简单地说,MongoDB中有效的$or查询要求$or项成为顶级术语,该术语的每个部分都由索引支持。

例如,您可能会发现以下索引和查询的性能更好一些:

db.orders.createIndex({
  status:1,
  location:1,
  completedDate:1,
  estimatedProductionDate:1
})

db.orders.explain().find({
  $or: [
    {
      status: {$in: [1, 2, 3]},
      location: "PA",
      completedDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}},
    {
      status: {$in: [1, 2, 3]},
      location: "PA",
      completedDate: null,
      estimatedProductionDate: {$lt: ISODate("2017-08-22T04:59:59.999Z")}
    }
  ]
})

原因是MongoDB将$or查询中的每个术语都视为单独的查询。因此,每个术语都可以使用自己的索引。

请注意,上面提到的索引中的字段顺序遵循查询中字段的顺序。

但是,这仍然不是最佳的,因为在使用filter: {completedDate: {$eq: null}}的查询进行索引扫描后,MongoDB必须使用completedDate: null执行提取。其原因很微妙,最好解释here

  
      
  1. 文档{}为具有键模式{“a.b”:1}的索引生成索引键{“”:null}。
  2.   
  3. 文档{a:[]}还为具有键模式{“a.b”:1}的索引生成索引键{“”:null}。
  4.   
  5. 文档{}与查询{“a.b”:null}匹配。
  6.   
  7. 文档{a:[]}与查询{“a.b”:null}不匹配。
  8.         

    因此,查询{“a.b”:null}由带有键的索引回答   pattern {“a.b”:1}必须获取文档并重新检查谓词,   以确保文档{}包含在结果集中   并且文档{a:[]}未包含在结果集中。

为了最大限度地利用索引,您可能最好将某些内容分配到completedDate字段,而不是将其设置为null