Question

我已经继承了日志的ELK堆栈，我还在学习绳索 - 我的任务是在我们的logstash索引上为某个类型设置两个字段数字。似乎无法弄清楚如何做到这一点。我试过的事情：

在Kibana设置页面中，转到我的logstash索引并找到该字段。在控件选项卡上编辑，看到类型列为String（并且它是不可变的）。格式下拉列表显示URL和字符串。
去了我的一个Elasticsearch主机并找到了文档类型的grok规则，发现它们确实被编写为将字段解析为数字。示例：%{NUMBER:response_code}
没有想法，因为我不知道我的方式绕过ELK堆栈。

任何帮助都非常感谢，特别是相关文档的链接，以便我能够理解正在发生的事情。如果我知道要谷歌的话，我会更加苦苦挣扎。

Answer 1

另请注意，%{NUMBER:response_code}不会从字符串中生成数字，它只是识别并解析字符串中的数字，但生成的response_code字段仍然是字符串，您需要使用mutate/convert filter转换为数字。 grok将始终将字符串解析为其他较小的字符串，将结果字段转换为您期望的类型是您的工作。

所以你需要在你的grok过滤器之后添加它：

  mutate {
    convert => { "response_code" => "integer" }
  }

从那时起，事件中的response_code将是一个整数，用于创建每日logstash索引的logstash template包含整数字段的特定动态模板。请注意，response_code字段只有在创建新的logstash索引后才是整数，现有索引不会更改。

Answer 2

您需要reindex your data。由于此字段的Elasticsearch映射（即架构）已设置为string，因此您无法将数据索引为同一索引中的integer。

典型的ELK设置将创建滚动索引（每天或每月），因此可以在索引之间从string切换到interger，但不建议这样做，因为它会干扰长期聚合和搜索。

正如您所发现的那样，更改Grok规则将有助于未来的数据。现在，您需要再次通过Logstash传递所有现有数据以应用新的ryles。

要执行此操作，您可以再次传递日志文件，也可以使用

从Elasticsearch读取Logstash

input {
  elasticsearch {
    hosts => "localhost"
  }
}

较新版本的Elasticsearch应通过提供原生reindex API来改善这一点。

Answer 3

尝试查看文档样本：

卷曲-XGET＆＃39; localhost：9200 / _search？q =操作码：userLessonComplexityPoll＆amp; pretty＆＃39;
让我们看看这些文档：

{ ＆＃34; _index＆＃34; ：＆＃34; myindex＆＃34;，＆＃34; _type＆＃34; ：＆＃34; logs＆＃34;，＆＃34; _id＆＃34; ：＆＃34; AWNoYI8pGmxxeL6jupEZ＆＃34;，＆＃34; _score＆＃34; ：1.0，＆＃34; _source＆＃34; ：{ ＆＃34;生产＆＃34; ：＆＃34; 0＆＃34;，＆＃34; lessonId＆＃34; ：＆＃34; 2144＆＃34;，＆＃34;操作码＆＃34; ：＆＃34; userLessonComplexityPoll＆＃34;，＆＃34; courseId＆＃34; ：＆＃34; 45＆＃34;，＆＃34; lessonType＆＃34; ：＆＃34; minitest＆＃34;， ...
因此，尝试转换一个文档：

curl -XPOST＆＃39; localhost：9200 / educa_stats - * / _ update_by_query？pretty＆＃39; -d＆＃39; { ＆＃34;脚本＆＃34;：{ ＆＃34; lang＆＃34;：＆＃34;无痛＆＃34;，＆＃34; source＆＃34;：＆＃34; if（ctx._source.lessonId instanceof String）{int lessonId = Integer.parseInt（ctx._source.lessonId）; ctx._source.lessonId =（int）lessonId; }＆＃34; }，＆＃34;查询＆＃34;：{ ＆＃34; bool＆＃34;：{ ＆＃34;条款＆＃34;：{ ＆＃34; _id＆＃34;：[＆＃34; AWNoYI8pGmxxeL6jupEZ＆＃34;，＆＃34; AWMcRJYFGmxxeL6jucIZ＆＃34;] } } } }＆＃39;
成功？尝试通过查询转换所有文档：
```
curl -XPOST 'localhost:9200/educa_stats-*/_update_by_query?pretty' -d '
```
{ ＆＃34;脚本＆＃34;：{ ＆＃34; lang＆＃34;：＆＃34;无痛＆＃34;，＆＃34; source＆＃34;：＆＃34; if（ctx._source.lessonId instanceof String）{int lessonId = Integer.parseInt（ctx._source.lessonId）; ctx._source.lessonId =（int）lessonId; }＆＃34; }，＆＃34;查询＆＃34;：{ ＆＃34; bool＆＃34;：{ ＆＃34;必须＆＃34;：[ { ＆＃34;存在＆＃34;：{ ＆＃34; field＆＃34;：＆＃34; lessonId＆＃34; } } ] } } }＆＃39;

所有字段lessonId将从String类型转换为int（-2 ^ 32 - 2 ^ 32）类型。一切都好。

如何在Kibana数字中创建一个字段（来自字符串）

3 个答案: