Question

如果我理解正确，SynonymFilterFactory不会以任何方式阻止同义词。因此，如果他们想要好的回忆而不管多元化/紧张，那么他们的同义词文件中的复数和时态必须非常详尽。

我看到SynonymFilterFactory有一个可选参数，可以接受分析器。

analyzer :(可选;默认值：WhitespaceTokenizerFactory）解析同义词文件时要使用的分析器类的名称。如果指定了analyzer，那么tokenizerFactory可能不是，反之亦然。

我怀疑如此嵌套所需的分析器是有效的：

<analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory" />
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" />
    <filter class="solr.LowerCaseFilterFactory" />
    <filter class="solr.SnowballPorterFilterFactory" />
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true" > 
        <analyzer>
            <tokenizer class="solr.WhitespaceTokenizerFactory" />
            <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" />
            <filter class="solr.LowerCaseFilterFactory" />
            <filter class="solr.SnowballPorterFilterFactory" />
            <filter class="solr.RemoveDuplicatesTokenFilterFactory" />
        </analyzer>
    </filter>
    <filter class="solr.RemoveDuplicatesTokenFilterFactory" />
</analyzer>

我怀疑编译扩展分析器.jar并将其放在SOLR的lib文件夹中可能是唯一的方法。有没有办法在配置中定义命名分析器，或者另一种方法来实现这个目标？

Answer 1

这不能回答我原来的问题（关于如何通过配置来解决这个问题），但这是我最终在其他人想要这样做的情况下使用的解决方案。

首先，一个自定义分析器将用于预处理来自同义词过滤器的同义词（最重要的是，用Snowball阻止它们）：

public class SnowballAnalyzer extends Analyzer {
    /**
     * Creates a
     * {@link org.apache.lucene.analysis.Analyzer.TokenStreamComponents} which
     * tokenizes text when given a reader.
     * 
     * @return A
     *         {@link org.apache.lucene.analysis.Analyzer.TokenStreamComponents}
     *         built from an {@link WhitespaceTokenizer} filtered with
     *         {@link LowerCaseFilter} and English {@link SnowballFilter}.
     */
    @Override
    protected TokenStreamComponents createComponents(String fieldName) {
        Tokenizer source = new WhitespaceTokenizer();
        TokenStream filter = new LowerCaseFilter(source);
        filter = new SnowballFilter(filter, "English");
        return new TokenStreamComponents(source, filter);
    }

}

将其解压缩为.jar并部署到SOLR home的lib目录中。接下来，确保告诉SOLR在同义词过滤器中使用此分析器（通常在schema.xml或托管模式中）：

<fieldType name="stemmedText" class="solr.TextField" positionIncrementGap="100">
    <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
        <filter class="solr.WordDelimiterFilterFactory" catenateNumbers="1" generateNumberParts="1" generateWordParts="1" catenateAll="0" catenateWords="1"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.SnowballPorterFilterFactory"/>
        <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
    </analyzer>
    <analyzer type="query">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" words="stopwords.txt" ignoreCase="true"/>
        <filter class="solr.WordDelimiterFilterFactory" catenateNumbers="0" generateNumberParts="1" generateWordParts="1" catenateAll="0" catenateWords="0"/>
        <filter class="solr.LowerCaseFilterFactory"/>
        <filter class="solr.SnowballPorterFilterFactory"/>
        <filter class="solr.SynonymFilterFactory" expand="true" analyzer="your.package.SnowballAnalyzer" ignoreCase="true" synonyms="synonyms.txt"/>
        <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
    </analyzer>
</fieldType>

最后，在您想要的任何字段上使用上述类型：

<field name="keywords" type="stemmedText" indexed="true" stored="false"/>

通过这个例子，文件＆＃39;关键字字段将在索引中生成。当对该字段进行查询时，该术语将被阻止然后用于查找同义词（已经由自定义分析器预先阻止）。结果是包含＆＃34;不完整＆＃34;的同义词文件。同义词列表（复数，时态）获得匹配的机会要高得多。

具体示例

同义词文件条目：[狗，狗，狗，犬，犬，小狗，幼犬，幼犬]

搜索词：小狗（注意它不在同义词列表中）

Parsed query：SynonymQuery（同义词（关键字：canid keywords：dog keywords：doggi keywords：pup keywords：puppi））

SOLR：带有词干

1 个答案: