Question

我正在尝试使用MongoDB来实现自然语言字典。我有一个lexemes集合，每个lexemes都有许多wordforms作为子文档。这就是一个单一的lexeme：

{
    "_id" : ObjectId("51ecff7ee36f2317c9000000"),
    "pos" : "N",
    "lemma" : "skrun",
    "gloss" : "screw",
    "wordforms" : [ 
        {
            "number" : "sg",
            "surface_form" : "skrun",
            "phonetic" : "ˈskruːn",
            "gender" : "m"
        }, 
        {
            "number" : "pl",
            "surface_form" : "skrejjen",
            "phonetic" : "'skrɛjjɛn",
            "pattern" : "CCCVCCVC"
        }
    ],
    "source" : "Mayer2013"
}

目前我有大约4000个lexemes的集合，每个lexemes平均有一个1000个字形的列表（而不是上面的2个）。这意味着我在集合中有效地拥有4,000,000个独特的单词形式，我需要能够在合理的时间内搜索它们。

普通查询如下所示：

db.lexemes.find({"wordforms.surface_form":"skrejjen"})

我有wordforms.surface_form的索引，此搜索非常快。但是，如果我想在搜索中使用通配符，则性能非常差。例如：

db.lexemes.find({"wordforms.surface_form":/skrej/})

需要5分钟（此时我放弃了等待）。如上所述in this question，已知对索引进行正则表达式搜索是不好的。我知道在正则表达式helps a lot中添加^锚点，但它也严重限制了我的搜索功能。即使我愿意做出这样的牺牲，我也注意到响应时间仍然可以根据正则表达式而变化很大。查询

db.lexemes.find({"wordforms.surface_form":/^s/})

需要35秒才能完成。

到目前为止，我使用hint关闭索引时的最佳结果。在这种情况下，事情似乎有了很大改善。这个查询：

db.lexemes.find({"wordforms.surface_form":/skrej/}).hint('_id_')

需要大约3秒才能完成。

我的问题是，我还能做些什么来改善这些搜索时间吗？虽然它们仍然有点慢，但我已经在考虑迁移到MySQL以期获得性能。但我真的希望保持Mongo的灵活性并避免RDBMS中所有繁琐的规范化。有什么建议？你觉得无论数据库引擎如何，我都会遇到一些缓慢的问题吗？

我知道Mongo的新text search功能，但这个（标记化和词干化）的优点与我的情况无关（更不用说我的语言不受支持）。目前尚不清楚文本搜索是否实际上更快而不是使用正则表达式。

Answer 1

一种可能性是存储您认为可能有用的所有变体作为数组元素 - 不确定是否可能这样做！

    {
        "number" : "pl",
        "surface_form" : "skrejjen",
        "surface_forms: [ "skrej", "skre" ],
        "phonetic" : "'skrɛjjɛn",
        "pattern" : "CCCVCCVC"
    }

我可能还建议不要在每个单词中存储1000个单词表单，但要将其转换为包含较小的单词。文档越小，MongoDB在每次搜索时读入内存的次数就越少（只要搜索条件当然不需要完整扫描）：

{
    "word": {
        "pos" : "N",
        "lemma" : "skrun",
        "gloss" : "screw",
    },
    "form" : {
        "number" : "sg",
        "surface_form" : "skrun",
        "phonetic" : "ˈskruːn",
        "gender" : "m"
    },
    "source" : "Mayer2013"
}

{
    "word": {
        "pos" : "N",
        "lemma" : "skrun",
        "gloss" : "screw",
    },
    "form" : {
        "number" : "pl",
        "surface_form" : "skrejjen",
        "phonetic" : "'skrɛjjɛn",
        "pattern" : "CCCVCCVC"
    },
    "source" : "Mayer2013"
}

我也怀疑MySQL在搜索随机字形式时会表现得更好，因为它必须像MongoDB那样进行全表扫描。唯一可以提供帮助的是查询缓存 - 但是当然，这很容易在应用程序中的搜索UI / API中构建。

Answer 2

根据Derick的建议，我重构了数据库中的数据，以便我将“wordforms”作为集合而不是“lexemes”下的子文档。结果实际上更好！这是一些速度比较。使用hint的最后一个示例是故意绕过surface_form上的索引，旧索引中的索引实际上更快。

旧架构（请参阅original question）

Query                                                              Avg. Time
db.lexemes.find({"wordforms.surface_form":"skrun"})                0s
db.lexemes.find({"wordforms.surface_form":/^skr/})                 1.0s
db.lexemes.find({"wordforms.surface_form":/skru/})                 > 3mins !
db.lexemes.find({"wordforms.surface_form":/skru/}).hint('_id_')    2.8s

新架构（请参阅Derick's answer）

Query                                                              Avg. Time
db.wordforms.find({"surface_form":"skrun"})                        0s
db.wordforms.find({"surface_form":/^skr/})                         0.001s
db.wordforms.find({"surface_form":/skru/})                         1.4s
db.wordforms.find({"surface_form":/skru/}).hint('_id_')            3.0s

对我而言，这是一个非常好的证据，证明重构的架构可以使搜索更快，并且值得冗余数据（或需要额外的连接）。

加速MongoDB中的正则表达式字符串搜索

2 个答案: