如何在MongoDB中使用`$或`和`$ in`查询进行排序?

时间:2016-04-08 02:53:48

标签: mongodb sorting indexing time-complexity

这是对this question的跟进 - 请参阅上下文。

这个问题涉及链接问题的一些特殊情况 - 即使用$in$or运算符时MongoDB中的排序如何工作,以及如何确保使用索引进行排序记忆中的排序。

$中:

例如,假设我们有一个文档结构为

的集合
{a: XXX, b: XXX}

...我们按顺序在ab上有一个复合索引,并希望运行查询

{a: {$in: [4, 6, 2, 1, 3, 10]}, b: {$gt: 1, $lt: 6}}

如果排序在ab上,排序将如何进行? $in是各种各样的等式运算符,但在我看来,b上带索引的排序是不可能的。使用索引的a排序只有在$in值数组首先排序时才有可能 - 我想 - 但我不知道MongoDB是否这样做。

$或

由于$or查询(IIUC)被处理为多个查询,并且可能会使用它们各自的索引进行排序,因此排序结果会以某种方式合并,或$or强制内存排序所有结果?如果是前者,这个过程的时间复杂度是多少?

1 个答案:

答案 0 :(得分:7)

注意:此答案基于MongoDB 3.2.4。

值得发现在MongoDB中使用explain()。查询的explain()输出(例如db.collection.explain().find(...))允许您检查查询中使用的索引,使用db.collection.explain('executionStats')还可以显示查询是成功还是失败-memory SORT限制。

<强> $在

$in查询可以被视为一系列相等查询。例如,{a: {$in: [1,3,5]}}可以被视为{a:1}, {a:3}, {a:5}。在继续查询之前,MongoDB会对$in数组进行排序,因此{$in: [3,5,1]}{$in: [1,3,5]}没有区别。

假设集合的索引为

{a:1, b:1}
  • a

    排序
      db.coll.find({a: {$in: [1,3,5]}}).sort({a:1})
    

    MongoDB将能够使用{a:1,b:1}索引,因为此查询可以被视为{a:1}, {a:3}, {a:5}查询的并集。按{a:1}排序允许使用index prefix,因此MongoDB不需要执行内存中的排序。

    同样的情况也适用于查询:

      db.coll.find({a: {$in: [1,3,5]} ,b:{$gte:1, $lt:2}}).sort({a:1})
    

    由于sort({a:1})也使用索引前缀(在这种情况下为a),因此不需要内存中的SORT阶段。

  • b

    排序

    与按a排序相比,这是一个更有趣的案例。例如:

      db.coll.find({a: {$in: [1,3,5]}}).sort({b:1})
    

    此查询的explain()输出将包含一个名为SORT_MERGE的阶段。请注意,查询的find()部分可以被视为{a:1}, {a:3}, {a:5}

    由于db.coll.find({a:1}).sort({b:1})索引的性质,查询SORT不需要有内存{a:1,b:1}阶段:也就是说,MongoDB可以简单地遍历(已排序)索引在满足b上的相等参数后,返回按a排序的文档。例如,对于每个a,由于索引,有许多b已按b排序。

    使用$in,整体查询可以被视为:

    • db.coll.find({a:1}).sort({b:1})
    • db.coll.find({a:3}).sort({b:1})
    • db.coll.find({a:5}).sort({b:1})
    • 获取上面的各个查询结果,并使用b的值执行合并。查询不需要内存中排序阶段,因为各个查询结果已按b排序。 MongoDB只需将(已经排序的)子查询结果合并为一个结果。

    同样,查询

      db.coll.find({a: {$in: [1,3,5]} ,b:{$gte:1, $lt:2}}).sort({b:1})
    

    也使用SORT_MERGE阶段,与上面的查询非常相似。不同之处在于,对于每个b,单个查询基于范围 b(而不是每个 a)输出文档(由于索引b,将按{a:1,b:1}排序)。因此,查询不需要内存中的排序阶段。

<强> $或

对于$or查询使用索引every clause in the $or expression must have an index associated with it。如果满足此要求,则查询可以使用SORT_MERGE阶段,就像$in查询一样。例如:

db.coll.explain().find({$or:[{a:1},{a:3},{a:5}]}).sort({b:1})

将具有与上述SORT_MERGE示例中几乎完全相同的查询计划,索引使用和$in阶段。从本质上讲,查询可以被认为是:

  • db.coll.find({a:1}).sort({b:1})
  • db.coll.find({a:3}).sort({b:1})
  • db.coll.find({a:5}).sort({b:1})
  • 获取上面的各个查询结果,并使用b
  • 的值执行合并

就像之前的$in示例一样。

但是,这个查询:

db.coll.explain().find({$or:[{a:1},{b:1}]}).sort({b:1})

无法使用任何索引(因为我们没有{b:1}索引)。此查询将导致集合扫描,因此将具有内存中排序阶段,因为不使用索引。

但是,如果我们创建索引{b:1},则查询将继续如下:

  • db.coll.find({a:1}).sort({b:1})
  • db.coll.find({b:1}).sort({b:1})
  • 获取上面的各个查询结果,并使用b的值执行合并(由于索引{a:1,b:1}{b:1},已在两个子查询中对其进行了排序)

并且MongoDB将结合{a:1}{b:1}个查询的结果,并对结果执行合并。合并过程是线性时间,例如O(n)

总之,在$or查询中,每个术语都必须包含一个索引,包括sort()阶段。否则,MongoDB将不得不执行内存中的排序。