使用NEST C#客户端进行ElasticSearch重音不敏感查询

时间:2013-05-02 15:35:41

标签: c# lucene elasticsearch nest

我试图在ElasticSearch中使用NEST c#client进行查询而没有重音查询,我的数据有带重音的葡萄牙语拉丁语。请参阅下面的代码:

var result = client.Search<Book>(s => s
    .From(0)
    .Size(20)
    .Fields(f => f.Title)
    .FacetTerm(f => f.OnField(of => of.Genre))
    .Query(q => q.QueryString(qs => qs.Query("sao")))
);

此搜索未找到任何内容。我在这个索引上的数据包含许多标题,如:“SãoCristóvan”,“SãoGonçalo”。

var settings = new IndexSettings();
settings.NumberOfReplicas = 1;
settings.NumberOfShards = 5;
settings.Analysis.Analyzers.Add("snowball", new Nest.SnowballAnalyzer { Language = "Portuguese" });
var idx5 = client.CreateIndex("idx5", settings);

如何使用ElasticSearch进行查询“ sao ”并找到“são”?

我认为必须创建具有正确属性的索引,但我已经尝试过许多设置,例如。

或以原始模式:


    {
     "idx" : {
       "settings" : {
         "index.analysis.filter.jus_stemmer.name" : "brazilian",
         "index.analysis.filter.jus_stop._lang_" : "brazilian"
       }
     }
    }

如何进行搜索并忽略重音?

谢谢朋友们,

3 个答案:

答案 0 :(得分:4)

参见解决方案:

使用putty执行弹性搜索搜索:

curl -XPOST 'localhost:9200/idx30/_close'

curl -XPUT 'localhost:9200/idx30/_settings' -d '{
            "index.analysis.analyzer.default.filter.0": "standard",
            "index.analysis.analyzer.default.tokenizer": "standard",
            "index.analysis.analyzer.default.filter.1": "lowercase",
            "index.analysis.analyzer.default.filter.2": "stop",
            "index.analysis.analyzer.default.filter.3": "asciifolding",
            "index.number_of_replicas": "1"
}'

curl -XPOST 'localhost:9200/idx30/_open'

将“ idx30 ”替换为索引名称

完成!

答案 1 :(得分:3)

因为遇到同样的问题,我偶然发现了这个帖子。 这是使用AsciiFolding Analyzer创建索引的NEST代码:

// Create the Client
string indexName = "testindex";
var uri = new Uri("http://localhost:9200");
var settings = new ConnectionSettings(uri).SetDefaultIndex(indexName);
var client = new ElasticClient(settings);
// Create new Index Settings
IndexSettings set = new IndexSettings();
// Create a Custom Analyzer ...
var an = new CustomAnalyzer();
// ... based on the standard Tokenizer
an.Tokenizer = "standard";
// ... with Filters from the StandardAnalyzer
an.Filter = new List<string>();
an.Filter.Add("standard");
an.Filter.Add("lowercase");
an.Filter.Add("stop");
// ... just adding the additional AsciiFoldingFilter at the end
an.Filter.Add("asciifolding");
// Add the Analyzer with a name
set.Analysis.Analyzers.Add("nospecialchars", an);
// Create the Index
client.CreateIndex(indexName, set);

现在您可以将您的实体映射到此索引(在创建索引后执行此操作非常重要)

client.MapFromAttributes<TestEntity>();

以下是这样一个实体的样子:

[ElasticType(Name = "TestEntity", DisableAllField = true)]
public class TestEntity
{
    public TestEntity(int id, string desc)
    {
        ID = id;
        Description = desc;
    }

    public int ID { get; set; }

    [ElasticProperty(Analyzer = "nospecialchars")]
    public string Description { get; set; }
}

在那里,描述字段现在插入到没有重音符号的索引中。 如果选中索引的映射,则可以对此进行测试:

http://localhost:9200/testindex/_mapping

然后应该看起来像:

{
    testindex: {
        TestEntity: {
            _all: {
                enabled: false
            },
            properties: {
                description: {
                    type: "string",
                    analyzer: "nospecialchars"
                },
                iD: {
                    type: "integer"
                }
            }
        }
    }
}

希望这会对某人有所帮助。

答案 2 :(得分:0)

您需要在分析仪中加入ACSII Folding filter才能完成此操作。这将意味着构建snowballanalyzer表单标记器和过滤器(除非nest允许您向非自定义分析器添加过滤器。但据我所知,ElasticSearch不会。)

SnowballAnalyzer包含:

  • StandardTokenizer
  • StandardFilter
  • (在此处添加ASCIIFolding过滤器)
  • LowercaseFilter
  • StopFilter(设置了相应的禁用词)
  • SnowballFilter(使用适当的语言)
  • (或者可能在这里)

我可能会尝试在LowercaseFilter之前添加ASCIIFoldingFilter,尽管最好将它添加为las步骤(在SnowballFilter之后)。尝试两种方式,看看哪种方式更好。我不太清楚Protuguese的干扰器是否可以肯定哪个是最好的。