为什么我的领先通配符搜索在Solr中失败?

时间:2013-02-14 02:04:37

标签: solr tokenize lucene

我定义了一个文本字段,我使用copyField来填充各种源字段,目标是使用这个字段来搜索我的Solr索引。

此文本字段定义为使用此自定义fieldType“text_en_splitting_reversed”。我通过复制示例“text_en_splitting”并将ReversedWildcardFilterFactory添加到索引分析器来创建此字段类型。

<!-- Just like text_en_splitting, but with the addition of reversed tokens for leading wildcard matches -->
<fieldType name="text_en_splitting_reversed" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <!-- in this example, we will only use synonyms at query time
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/>
    -->
    <!-- Case insensitive stop word removal.
      add enablePositionIncrements=true in both the index and query
      analyzers to leave a 'gap' for more accurate phrase queries.
    -->
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
    <filter class="solr.ReversedWildcardFilterFactory" withOriginal="true"
       maxPosAsterisk="3" maxPosQuestion="2" maxFractionAsterisk="0.33"/>
 </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="lang/stopwords_en.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"  types="word-delim-types.txt" />
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
    <filter class="solr.PorterStemFilterFactory"/>
  </analyzer>
</fieldType>

我的主要问题:当我使用领先的通配符搜索时,我得到了意想不到的结果。例如,我知道我正在为“* car”做的一个特定搜索应该返回一个匹配(该文档包含单词“racecar”)。由于这是失败的,我决定在Solr Admin中的分析器工具中调试它。这是我测试的截图:

Leading wildcard issue

我是这个分析工具的新手,但是右边是不是一直保留着领先的星号?为什么这不会最终匹配?我是否希望对用户输入的关键字进行反向处理?

现在,在我的索引查询配置中,我设置为使用edismax。但是,在管理分析器gui中,我没有看到控制它是使用标准解析器还是edismax的方法。 (也许没关系?)

如果这些信息可能有助于提供更多背景信息,那么我将按照索引的特定字段的目标进行操作:

  • 我想*赛车匹配赛车。 这不起作用。
  • 我想要30美元来匹配包含30美元的文件,但不包含那些包含30美元的文件(前面没有美元符号)。所以我添加了一个types =“”属性,我将$定义为DIGIT。 正在运作。
  • 我想30匹配包含30美元的文件。 这不起作用。

2 个答案:

答案 0 :(得分:1)

从屏幕截图中可以看出,WordDelimiterFilterFactory已经剥离了您的前导*。尝试将preserveOriginal="1"添加到查询分析器端,即

<filter class="solr.WordDelimiterFilterFactory" 
    preserveOriginal="1" 
    generateWordParts="1" 
    generateNumberParts="1" 
    catenateWords="0" 
    catenateNumbers="0" 
    catenateAll="0" 
    splitOnCaseChange="1" 
    types="word-delim-types.txt" />

答案 1 :(得分:1)

最终,领先的通配符问题是我们搜索引擎前端的一个错误。在将查询提交给Solr之前,我们在那里使用带引号的所有关键字或短语包含一些代码。这样,如果输入了一个短语,它将被引号包围,并且工作正常。它对常规关键字搜索没有影响。

但显然如果是通配符搜索,在它周围加上引号会导致搜索因某种原因失败。当我删除引号时,* car匹配包含赛车的帖子。

关于我的第二个问题(为什么“30”不匹配包含“$ 30”的文档),我也在另一个StackOverflow线程中解决了这个问题:How do I find documents containing digits and dollar signs in Solr?

顺便说一下,我认为Solr分析管理员gui中存在一个错误。在测试领先的通配符搜索时,我永远不会发生任何突出显示,表明已经进行了匹配......这进一步增加了我试图调试问题的困惑。