Question

我创建了一个巨大的mongodb数据库。以下是其统计数据：

> db.stats() <br/>
{
        "db" : "test-sample-db",
        "collections" : 3,
        "objects" : 30700242,
        "avgObjSize" : 607.1807849592847,
        "dataSize" : 18640597036,
        "storageSize" : 19531558816,
        "numExtents" : 31,
        "indexes" : 2,
        "indexSize" : 2692111520,
        "fileSize" : 25691160576,
        "nsSizeMB" : 16,
        "dataFileVersion" : {
                "major" : 4,
                "minor" : 5
        },
        "ok" : 1
}

我在Windows 7（64位）（8 GB RAM）python 2.7上使用pymongo来查询此数据库。请注意，索引是在名为“key”的字段上创建的。查询很简单，我只想要所有具有指定键的文档。我用$ in表示如下：

result = testdb.find({"key": {"$in":lt}})
for doc in result:
    pass

上面“lt”的大小是apprx 1000.因此这个查询将在amx返回1000个文档。我注意到的是这个查询很慢。执行此查询大约需要5-6秒，并迭代光标，如上面的代码所示。有什么方法可以优化它来使这个操作更快？

示例文件：

{"key" : "abcd12xx", "data" : {"w1" : 1, "w3": 1, "w4" : 3}}

query.explain（）的输出（这不仅仅是为了节省空间的10个键。通常我会有1000个键，因此会更大）：

{    u'nYields': 0, 
     u'nscannedAllPlans': 19, 
     u'allPlans': [{u'cursor': u'BtreeCursor feature_1 multi', 
                    u'indexBounds': {u'feature': [[u'1000', u'1000'], [u'1001', u'1001'],
                              [u'1002', u'1002'], [u'1003', u'1003'], [u'1004', u'1004'],
                              [u'1005', u'1005'], [u'1006', u'1006'], [u'1007', u'1007'],
                              [u'1008', u'1008'], [u'1009', u'1009']]
                    }, 
                    u'nscannedObjects': 10, 
                    u'nscanned': 19, 
                    u'n': 10}], 
     u'millis': 0, 
     u'nChunkSkips': 0, 
     u'server': u'server:27017', 
     u'n': 10, 
     u'cursor': u'BtreeCursor feature_1 multi'
}

优化Pymongo读取查询

0 个答案: