与原生pymongo使用相比，Mongoengine在大型文档上的速度非常慢

Question

我有以下mongoengine型号：

class MyModel(Document):
    date        = DateTimeField(required = True)
    data_dict_1 = DictField(required = False)
    data_dict_2 = DictField(required = True)

在某些情况下，DB中的文档可能非常大（大约5-10MB），而data_dict字段包含复杂的嵌套文档（dicts列表的字典等）。

我遇到过两个（可能是相关的）问题：

1. 当我运行本机pymongo find_one（）查询时，它会在一秒钟内返回。当我运行MyModel.objects.first（）时需要5-10秒。

2. 当我从数据库中查询单个大型文档，然后访问其字段时，只需执行以下操作需要10-20秒：

   m = MyModel.objects.first()
   val = m.data_dict_1.get(some_key)
   

对象中的数据不包含对任何其他对象的任何引用，因此它不是解除引用对象的问题。
我怀疑它与mongoengine的内部数据表示的某些低效率有关，这会影响文档对象的构造以及字段访问。我能做些什么来改善这个吗？

Answer 1

TL; DR：mongoengine花费多年时间将所有返回的数组转换为dicts

为了对此进行测试，我使用带有DictField的大型嵌套dict的文档构建了一个集合。该文档大致在5-10MB范围内。

然后我们可以使用timeit.timeit来确认使用pymongo和mongoengine的读数差异。

然后我们可以使用pycallgraph和GraphViz来查看mongoengine长得太长的东西了。

以下是完整的代码：

import datetime
import itertools
import random
import sys
import timeit
from collections import defaultdict

import mongoengine as db
from pycallgraph.output.graphviz import GraphvizOutput
from pycallgraph.pycallgraph import PyCallGraph

db.connect("test-dicts")


class MyModel(db.Document):
    date = db.DateTimeField(required=True, default=datetime.date.today)
    data_dict_1 = db.DictField(required=False)


MyModel.drop_collection()

data_1 = ['foo', 'bar']
data_2 = ['spam', 'eggs', 'ham']
data_3 = ["subf{}".format(f) for f in range(5)]

m = MyModel()
tree = lambda: defaultdict(tree)  # http://stackoverflow.com/a/19189366/3271558
data = tree()
for _d1, _d2, _d3 in itertools.product(data_1, data_2, data_3):
    data[_d1][_d2][_d3] = list(random.sample(range(50000), 20000))
m.data_dict_1 = data
m.save()


def pymongo_doc():
    return db.connection.get_connection()["test-dicts"]['my_model'].find_one()


def mongoengine_doc():
    return MyModel.objects.first()


if __name__ == '__main__':
    print("pymongo took {:2.2f}s".format(timeit.timeit(pymongo_doc, number=10)))
    print("mongoengine took", timeit.timeit(mongoengine_doc, number=10))
    with PyCallGraph(output=GraphvizOutput()):
        mongoengine_doc()

输出结果证明，与pymongo相比，mongoengine非常慢：

pymongo took 0.87s
mongoengine took 25.81118331072267

结果调用图清楚地说明了瓶颈的位置：

本质上，mongoengine会在从db返回的每个DictField上调用to_python方法。 to_python非常慢，在我们的例子中，它被称为疯狂的次数。

Mongoengine用于优雅地将文档结构映射到python对象。如果你有非常大的非结构化文件（mongodb非常适合），那么mongoengine并不是真正的工具，你应该只使用pymongo。

但是，如果你知道结构，你可以使用EmbeddedDocument字段从mongoengine获得更好的性能。我运行了类似但不等效的测试code in this gist，输出为：

pymongo with dict took 0.12s
pymongo with embed took 0.12s
mongoengine with dict took 4.3059175412661075
mongoengine with embed took 1.1639373211854682

所以你可以让mongoengine更快，但pymongo仍然快得多。

<强>更新

这里的pymongo接口的一个很好的捷径是使用聚合框架：

def mongoengine_agg_doc():
    return list(MyModel.objects.aggregate({"$limit":1}))[0]