我创建了一个巨大的mongodb数据库。以下是其统计数据:
> db.stats() <br/>
{
"db" : "test-sample-db",
"collections" : 3,
"objects" : 30700242,
"avgObjSize" : 607.1807849592847,
"dataSize" : 18640597036,
"storageSize" : 19531558816,
"numExtents" : 31,
"indexes" : 2,
"indexSize" : 2692111520,
"fileSize" : 25691160576,
"nsSizeMB" : 16,
"dataFileVersion" : {
"major" : 4,
"minor" : 5
},
"ok" : 1
}
我在Windows 7(64位)(8 GB RAM)python 2.7上使用pymongo来查询此数据库。请注意,索引是在名为“key”的字段上创建的。查询很简单,我只想要所有具有指定键的文档。我用$ in表示如下:
result = testdb.find({"key": {"$in":lt}})
for doc in result:
pass
上面“lt”的大小是apprx 1000.因此这个查询将在amx返回1000个文档。我注意到的是这个查询很慢。执行此查询大约需要5-6秒,并迭代光标,如上面的代码所示。 有什么方法可以优化它来使这个操作更快?
示例文件:
{"key" : "abcd12xx", "data" : {"w1" : 1, "w3": 1, "w4" : 3}}
query.explain()的输出(这不仅仅是为了节省空间的10个键。通常我会有1000个键,因此会更大):
{ u'nYields': 0,
u'nscannedAllPlans': 19,
u'allPlans': [{u'cursor': u'BtreeCursor feature_1 multi',
u'indexBounds': {u'feature': [[u'1000', u'1000'], [u'1001', u'1001'],
[u'1002', u'1002'], [u'1003', u'1003'], [u'1004', u'1004'],
[u'1005', u'1005'], [u'1006', u'1006'], [u'1007', u'1007'],
[u'1008', u'1008'], [u'1009', u'1009']]
},
u'nscannedObjects': 10,
u'nscanned': 19,
u'n': 10}],
u'millis': 0,
u'nChunkSkips': 0,
u'server': u'server:27017',
u'n': 10,
u'cursor': u'BtreeCursor feature_1 multi'
}