ElasticSearch索引映射和通配符

时间:2017-02-02 16:19:05

标签: c# elasticsearch asp.net-web-api nest elasticsearch-2.0

我有一个C#应用程序,它使用NEST读写ElasticSearch数据库。我正在存储Dictionary<string, object>

类型的文档

我也在创建索引后立即设置了一些映射。我是通过NEST电话来做的,见下文:

        elastic.Map<Dictionary<string, object>>(m => m
            .Index(indexName)
                .Type("DataRecord")
            .AutoMap().AllField(a => a.Enabled(false))
            .Dynamic()
            .DynamicTemplates(dt => dt
                .DynamicTemplate("pv_values_template", t => t
                    .Match("ch_*")
                    .Mapping(m2 => m2
                        .Number(n => n
                            .Store(false)
                            .DocValues())))));

呼叫接受indexName,这当然是我索引的名称。我这样做是为了告诉ElasticSearch设置Dictionary<string, object>文档的特定映射(由于类型为object而无法提前完成)

现在,在这个项目中,我将文档存储在不同的索引上,如:

acme_company_2017
acme_company_2016
acme_company_2015
and so on...

每年都会创建一个新索引,设置映射并且每次都可以存储东西。

然后回读文件时出现问题:

当我回读文件时,我正在使用一个特殊的索引:

acme_company_*

这样我可以在不事先知道年份的情况下检索所有年份的所有内容,只需获取存储在数据库中的所有数据。见下文:

    var dataRecordsArray = elastic.Search<Dictionary<string, object>>(searchDescriptor => searchDescriptor
            .Index("acme_company_*")
            .Type("DataRecord")
            .Query(query =>
                query.Term(dataRecord => dataRecord["GroupId"], groupId) &&
                query.DateRange(dateRangeQueryDescriptor => dateRangeQueryDescriptor
                    .Field(dataRecord => dataRecord["DateTime"])
                    .GreaterThanWithStartOption(startTime.UtcDateTime, includeStartTime)
                    .LessThanWithEndOption(endTime.UtcDateTime, includeEndTime)))
                    .Size(MaximumNumberOfReturnedDocs)
                    .Sort(dataRecord => dataRecord.Ascending(data => data["DateTime"])))
                    .Documents.ToArray();

当我这样做时,ElasticSearch引擎抱怨我选择的索引缺少映射。我知道acme_company_*acme_company_2017不是同一个字符串,但它不应该是相同的,映射方式?

这是我得到的实际错误:

  

找不到[DateTime]的映射以便排序

DateTimeDictionary<string, object>文档的关键字。当我回读文档时,如果我提供相同的索引(例如acme_company_2015),一切正常

请注意,从指定年份到结束年份的索引循环(并将结果连接在一起)不是一个选项,因为系统必须是可扩展的。此外,索引可能跨越较短的时间,如一个月甚至更短

1 个答案:

答案 0 :(得分:2)

我会在这里回答,

事实证明,在使用acme_company_*时,我甚至没有提到另一组索引(我没有提及(即acme_company_metadata),而这些索引没有映射。

解决方案是仅匹配acme_company_<year>索引,不包括acme_company_metadata。可以通过收紧正则表达式来匹配年份