logstash-2.2.2,windows,IIS日志文件格式

时间:2016-03-26 06:19:18

标签: elasticsearch logstash logstash-grok

当我以UTF-8格式解析iis日志文件时,我得到以下错误,当我使用ANSI格式解析日志文件时,没有任何工作Logstash只是在控制台上显示消息和&#t; #34; Logstash启动完成"。我的服务器上有近1000个文件,我无法将每种文件格式从ANSI更改为UTF-8。你可以帮助我在配置文件中需要更改的位置。当我以UTF-8格式解析文件时,我还附加了调试文件。我在同一个盒子上使用弹性搜索,它完全正常工作。我也能够通过127.0.0.1 telnet端口9200。

记录样本:

{{1}}

标准输出:

{{1}}

以下是我的logstash配置文件配置

{{1}}

1 个答案:

答案 0 :(得分:0)

_grokparsefailure标记表示您的grok模式与您的输入不匹配。看起来您希望模式跳过前两个字段,这很好。

然后,看看接下来的四个字段,我看到了:

2016-03-24 00:16:31 W3SVC20 ODSANDBOXWEB01 172.1.1.1

但您的模式正在寻找

%{TIMESTAMP_ISO8601:log_timestamp} %{WORD:iisSite} %{IPORHOST:site} %{WORD:method}

您尚未考虑IP地址(因为ODSANDBOXWEB01正在进入[网站])。

构建grok模式是一个深思熟虑的迭代过程。从debugger开始。输入一个示例输入行,然后添加grok模式 - 一次一个! - 直到整条线都匹配。

此外,当您对数据进行模糊处理时,请将其保留为有效数据。将ip更改为172.x.x.x意味着它不会匹配%{IP}模式,而无需我们弄清楚你做了什么。在这个例子中我把它改为172.1.1.1。