Solr停用词问题 - 文档不匹配

时间:2012-01-13 11:27:21

标签: solr

我正在使用solr-3.4,我的模式部分看起来像,

<fieldType name="text" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
    <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords_en.txt" enablePositionIncrements="true"/>
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
    </analyzer>
    <analyzer type="query">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords_en.txt" enablePositionIncrements="true"/>
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/>
        <filter class="solr.PorterStemFilterFactory"/>
    </analyzer>
</fieldType>

stopwords_en.txt包含
一个
一个


等。

现在,当我搜索“买房子”时,Solr没有将文件“买房”退回给我。
此外,当我搜索“买房”时,Solr没有将文件“买房子”归还给我。

debugQuery的一部分是

<str name="rawquerystring">cContent:"buy a house"</str>
<str name="querystring">cContent:"buy a house"</str>
<str name="parsedquery">PhraseQuery(cContent:"bui ? hous")</str>
<str name="parsedquery_toString">cContent:"bui ? hous"</str>

发现类似(但不完全)的问题here
但是没有令人满意的答案来解决这个问题。

知道如何解决这个问题?或者出了什么问题?

2 个答案:

答案 0 :(得分:3)

您正在使用PhraseQuery进行搜索,因此在“买房”的第一个案例中将不会与“买房”相匹配。如果你将slop(cContent:“buy house”~2)添加到PhraseQuery中,你也会得到匹配。

在第二种情况下,虽然禁用词被过滤掉了,但仍然期望某个位置上有一些东西,所以“买房子”将匹配“买一套房子”,而不是“买房子”。也许slop也能解决这个问题,但我不确定。

答案 1 :(得分:0)

实际上我认为你的问题出在PorterStemmer上 - “house”正在转变为“hous”。除非你真的认为你需要它,否则我会关闭搬运工。根据我的经验,它通常弊大于利。