Question

我有一个网络抓取工具应用程序，它将网页（以html格式）存储到MongoDB中，我想在此数据库中进行全文搜索，以使用查询获取所需的网页。我使用mongoDB java驱动程序使用以下代码运行全文查询：

BasicDBObject query = new BasicDBObject();
query.put("text", collectionName);
query.put("search", queryText);
query.put("limit", limit);
CommandResult queryResult = db.command(query);

问题是，当我设置＆＃34;限制＆＃34;如果我更改了＆＃34;限制＆＃34;进入130，queryResult按预期返回。我的猜测问题在于最大BSON文档大小（16MB），因此如果文档大小太大，queryResult将失败。

这是我的收藏统计信息：

> db.web.stats();
{
        "ns" : "web-crawler.web",
        "count" : 12129,
        "size" : 1622270432,
        "avgObjSize" : 133751,
        "storageSize" : 1952681984,
        "numExtents" : 18,
        "nindexes" : 2,
        "lastExtentSize" : 511258624,
        "paddingFactor" : 1,
        "systemFlags" : 0,
        "userFlags" : 1,
        "totalIndexSize" : 566776672,
        "indexSizes" : {
                "_id_" : 400624,
                "content_ftindex" : 566376048
        },
        "ok" : 1
}

任何想法如何解决这个问题？

MongoDB java驱动：全文搜索巨大的文件

0 个答案: