Question

我尝试在我们的应用程序中集成logstash，其中我在custompattern文件中包含以下模式。

Path: <path>/custom_pattern -- This is custom pattern file. I include this path in conf.
Content: ACCESSLOGPARSE \[%{HTTPDATE:timestamp}\] %{IPORHOST:clientip} (?: xff=%{IPORHOST:xffIp})

我的logstash配置文件：

input { 
  file{
    path => "/tmp/jboss-logs.log"
    start_position => beginning
  }
}

filter {
  if [path] =~ "jboss" {
    mutate { replace => { "type" => "jboss_access"}}
  grok {
    patterns_dir => "<dir path>"
    match => { "message" => "%{ACCESSLOGPARSE}" }
    }
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}
output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}

我的jboss-logs.log文件内容：

[09/Jan/2015:00:00:02 +0000] 127.0.0.1 xff=-
[09/Jan/2015:00:10:17 +0000] 100.20.10.11 xff=100.40.11.3

当我执行logstash时，我得到了以下未解析日志的输出。

{
       "message" => "[09/Jan/2015:00:00:02 +0000] 127.0.0.1 xff=-",
      "@version" => "1",
    "@timestamp" => "2015-01-20T15:30:10.865Z",
          "host" => "Salvador",
          "path" => "/tmp/jboss-logs.log",
          "type" => "jboss_access",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}
{
       "message" => "[09/Jan/2015:00:10:17 +0000] 100.20.10.11 xff=100.40.11.3",
      "@version" => "1",
    "@timestamp" => "2015-01-20T15:30:10.869Z",
          "host" => "Salvador",
          "path" => "/tmp/jboss-logs.log",
          "type" => "jboss_access",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

问题是＆＃39; xff＆＃39;日志中的密钥可能包含ip或＆＃39; - ＆＃39;。我也尝试过以下模式。但他们也没有工作。

ACCESSLOGPARSE \[%{HTTPDATE:timestamp}\] %{IPORHOST:clientip} (?: xff=%{IPORHOST:xffIp}|-) 
and
ACCESSLOGPARSE \[%{HTTPDATE:timestamp}\] %{IPORHOST:clientip} (?: xff=%{IPORHOST:xffIp}|xff=-)

此模式的解析器有什么问题？

Answer 1

您的第一个模式仅使用IPORHOST，它不支持＆＃34; - ＆＃34;作为有效值。

您的第二种模式（？：xff =％{IPORHOST：xffIp} | - ）正在寻找＆＃34; xff = 1.2.3.4＆＃34;或＆＃34; - ＆＃34;。您的输入是＆＃34; xff = - ＆＃34;，它不匹配。

还要注意＆＃34;之后的空格（？：＆＃34;是重要的，应该删除。

这些工作：

XFF =（：％{IPORHOST：xffIp} |？ - ）

（但当值为＆＃34时，xffIp将为NULL; - ＆＃34;）

使用更通用的模式：

（?: XFF =％{NOTSPACE：xffIp}）

或者您可以定义新模式：

IPORHOSTORDASH（？：％{IPORHOST} | - ）

并使用它：

（?: XFF =％{IPORHOSTORDASH：xffIp}）

将解析后的值放入xffIP字段。

如果你的线上有更多的键/值字段，你应该查看kv {}过滤器。

获取logstash日志解析错误：grokparsefailure

1 个答案: