如何分解搜索查询

时间:2012-03-27 06:17:50

标签: php mysql regex search-engine

我正在为CCG开发搜索引擎。我希望用户能够根据"blue brigade hero enhancements that can discard ec's""purple kings of israel"之类的查询找到卡片。有许多变量需要搜索:旅(紫色,蓝色),类型(英雄,邪恶角色[ec]),特殊能力(丢弃)和标识符(以色列国王)。我正在考虑重新寻找常见的搜索参数。我知道这并不容易,微调需要很长时间,但是有人能指出我正确的方向吗?正则表达式甚至是推荐的解决方案吗?我不知道它是否重要,但我使用的是php和mysql。

3 个答案:

答案 0 :(得分:7)

您必须编写解析器来解析此类查询字符串。

正则表达式有助于查找'动词'和'名词'在查询字符串中,但您可能还需要一个描述查询语言的非上下文语法,例如:

<QUERY> := <TARGET_SPEC>
<TARGET_SPEC> := <OBJECT> 'that can' <ABILITY>
<TARGET_SPEC> := <OBJECT>  
<OBJECT> := <COLOR> <WHAT> 
<OBJECT> := <WHAT>
<COLOR> := 'blue' | 'red' | 'purple' | 'green' 
<WHAT> := <ITEM> | <HERO>
<ITEM> := <ADJECTIVE> <ITEM>
<ADJECTIVE> := 'brigade' | 'hero' | 'magic' | 'enhanced' | 'rustproof'
<ITEM> := 'enhancements' | 'sword' | 'potion'
<HERO> := <HERO> 'of' <COUNTRY>
<HERO> := 'kings' | 'knights' | 'thiefs'
<COUNTRY> := 'israel' | 'palestine' | 'jordan' | 'egypt'
<ABILITY> := <ABILITY> 'and' <ABILITY>
<ABILITY> := 'swim' | 'dance' | discard <DISCARDABLE> | 'kill' <HERO> | 'use' <ITEM>
<DISCARDABLE> := 'ec's' | 'et's' | 'etc'

围绕这样的语法构建的解析器将能够确定您的查询的哪个部分是一个对象,这是一个能力,颜色,国家等。例如,给定的输入字符串&#39;红色骑士的约旦可以游泳& #39;,解析器将选择正确的规则并应用它们:

<QUERY> := 'red knights of jordan that can swim'
<TARGET_SPEC> := 'red knights of jordan that can swim'
<TARGET_SPEC> := 'red knights of jordan' 'that can' 'swim'
<OBJECT> := 'red knights of jordan'
<ABILITY> := 'swim'
<COLOR> := 'red'
<WHAT> := 'knights of jordan'
<HERO> := 'knights' 'of' 'jordan'
<HERO> := 'knights'
<COUNTRY> := 'jordan'

根据提取的信息,您将能够创建搜索条件。

使用语法还有一个额外的好处,就是解决一些难以解决的模糊问题 - 例如,如果用户要求可以杀死白骑士的红色国王,那么简单的算法就是通过将每个单词与可用颜色列表匹配来查找颜色将失败。

我建议阅读一本关于编译器设计的书 - Dragon Book是一个经典的选择(你不必阅读所有这些,只是关于词法分析器和解析器的部分)。

如果您不想自己编写整个解析器(因为这可能非常耗时且容易出错),您需要一个解析器生成器(即创建解析器的程序)给定语法的源代码); here是一个针对PHP提出一些建议的问题。

您还应该考虑阅读自然语言处理技术。斯坦福大学有一个在线课程here,我正在参加&#39;它现在可以全心全意地推荐它。

答案 1 :(得分:0)

我真的很喜欢socha's suggestion,但我会考虑一个更简单的问题。

如果你有一个已知搜索词的字典,并且能够纠正它们的语法和语法(提示:使用你的数据库和OED作为缓存层,在Google上抛出任何缓存未命中),你可以执行每个术语binary bucket sorting搜索已知类型的集合。使用您的示例,每个存储桶将是:brigade_purple,brigade_blue,type_hero,type_evil,您的每个特殊能力以及每个特殊类型标识符。

对于每张卡,构建一个符合您的桶的位域。对于每个用户查询,构造相同。然后,通过执行数据库的按位遍历返回符合您的位掩码的结果,我假设此玩具示例的形状类似于B+ tree,按主要位顺序排列最接近掩码的结果。这样做的好处是可以扩展到支持位域的最大长度,这在许多数据库实现中实际上是无限的。

好的,这有点技术性。无论如何,这就是我构建搜索数据库的方式。

答案 2 :(得分:-2)

WITH TierTempCur As

--/*Use Rela table to get the offspring of the parent*/ 

        (
            SELECT Rela.ID_RSSD_PARENT
                , Rela.ID_RSSD_OFFSPRING
                , '12/31/2011' AS REPORT_DATE
                , 1 As TREE_LVL 
                , CHECKSUM(ID_RSSD_PARENT, ID_RSSD_OFFSPRING) As CHKSUM 
                , RIGHT('000000000'+ CONVERT(VARCHAR(MAX),ID_RSSD_OFFSPRING),9) AS RSSD_PATH 
            FROM CUV_RELATIONSHIPS As Rela
            WHERE ID_RSSD_PARENT = 451965 AND '12/31/2011' BETWEEN D_DT_START AND D_DT_END 
                AND Rela.CTRL_IND = 1      --/* indicates subsidiary */
                AND Rela.OTHER_BASIS_IND not in (3,8)  --/* Per DM's job */

            UNION ALL

            SELECT Rela.ID_RSSD_PARENT
                , Rela.ID_RSSD_OFFSPRING
                , REPORT_DATE
                , TREE_LVL + 1 As TREE_LVL
                , CHECKSUM(Rela.ID_RSSD_PARENT, Rela.ID_RSSD_OFFSPRING) As CHKSUM 
                , Tmp.RSSD_PATH + '\' + RIGHT('000000000'+ CONVERT(VARCHAR(MAX),Rela.ID_RSSD_OFFSPRING),9) AS RSSD_PATH 
            FROM CUV_RELATIONSHIPS As Rela
            INNER JOIN TierTempCur As Tmp 
              ON Rela.ID_RSSD_PARENT = Tmp.ID_RSSD_OFFSPRING
              AND REPORT_DATE BETWEEN Rela.D_DT_START AND Rela.D_DT_END
            WHERE TREE_LVL < 20          --/*max depth for the tier is 20 -- to end self referencing parent/child relationships */
              AND Rela.CTRL_IND = 1      --/* indicates subsidiary */
              AND Rela.OTHER_BASIS_IND not in (3,8)
        ),