Question

我正在使用ELK集中所有日志，并且我正在转发Artifactory请求日志。

这将是一个示例行： 20160615130655|1|REQUEST|123.456.789.012|non_authenticated_user|GET|/9spj7rhd.fts|HTTP/1.1|401|0

这是Logstash过滤器：

filter{
        if [type] == 'artifactory-request'{
                grok {
                        'match'         => {"message" => "%{DATESTAMP_EVENTLOG:logtime:string}\|%{NUMBER:request_time}\|%{DATA:request_type}\|%{IP:request_ip}\|%{DATA:request_username}\|%{DATA:request_method}\|%{DATA:resource_path}\|HTTP/%{NUMBER:http_version}\|%{NUMBER:response_code}\|%{NUMBER:size}"}
                        'remove_tag'    => ["_grokparsefailure"]
                }

                date {
                        'match' => ["logtime", "yyyyMMddHHmmss"]
                }

        }
}

这似乎工作正常，如果我查看Logstash日志，我看到它正确映射值：

Jun 15 13:10:30 elk docker[22890]: "@version" => "1",
Jun 15 13:10:30 elk docker[22890]: "@timestamp" => "2016-06-15T13:10:24.000Z",
Jun 15 13:10:30 elk docker[22890]: "file" => "/mnt/artifactory/logs/request.log",
Jun 15 13:10:30 elk docker[22890]: "host" => "artifactory",
Jun 15 13:10:30 elk docker[22890]: "offset" => "4667597",
Jun 15 13:10:30 elk docker[22890]: "type" => "artifactory-request",
Jun 15 13:10:30 elk docker[22890]: "tags" => [],
Jun 15 13:10:30 elk docker[22890]: "logtime" => "20160615131024",
Jun 15 13:10:30 elk docker[22890]: "request_time" => "1",
Jun 15 13:10:30 elk docker[22890]: "request_type" => "REQUEST",
Jun 15 13:10:30 elk docker[22890]: "request_ip" => "123.456.789.012",
Jun 15 13:10:30 elk docker[22890]: "request_username" => "non_authenticated_user",
Jun 15 13:10:30 elk docker[22890]: "request_method" => "GET",
Jun 15 13:10:30 elk docker[22890]: "resource_path" => "/login.php",
Jun 15 13:10:30 elk docker[22890]: "http_version" => "1.1",
Jun 15 13:10:30 elk docker[22890]: "response_code" => "401",
Jun 15 13:10:30 elk docker[22890]: "size" => "0"
Jun 15 13:10:30 elk docker[22890]: }

但是，ES似乎不喜欢我的logtime字段。

Jun 15 13:18:00 elk docker[22580]: [2016-06-15 13:18:00,288][DEBUG][action.bulk              ] [Stellaris] [logstash-2016.06.15][4] failed to execute bulk item (index) index {[logstash-2016.06.15][artifactory-request][AVVUNhxaSE2i6S9oVvq2], source[{"message":"20160615131757|0|REQUEST|123.456.789.012|non_authenticated_user|GET|/|HTTP/1.1|302|0","@version":"1","@timestamp":"2016-06-15T13:17:57.000Z","file":"/mnt/artifactory/logs/request.log","host":"artifactory","offset":"4668979","type":"artifactory-request","tags":[],"logtime":"20160615131757","request_time":"0","request_type":"REQUEST","request_ip":"123.456.789.012","request_username":"non_authenticated_user","request_method":"GET","resource_path":"/","http_version":"1.1","response_code":"302","size":"0"}]}
Jun 15 13:18:00 elk docker[22580]: MapperParsingException[failed to parse [logtime]]; nested: IllegalArgumentException[Invalid format: "20160615131757" is malformed at "31757"];

查看映射（我猜测它是自动生成的，因为我还没有完成）我可以看到为什么它不喜欢它

"logtime" : {
    "type" : "date",
    "format" : "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
}

ES如何决定日志时间是一个日期？如何修复它以便它接受我正在输入的这种新格式？这曾经以前工作，我没有真正改变任何东西，所以我很困惑。

这是我在Logstash方面唯一的与输出相关的配置：

output {
  elasticsearch { hosts => ["elasticsearch:9200"] }
  stdout { codec => rubydebug }
}

我没有更改Elasticsearch上的任何配置，我正在使用默认设置。

有什么想法吗？我错过了什么？

非常感谢。

Answer 1

正如你所说，问题来自映射。

您可以将logtime字段从字符串转换为日期。使用第二个日期过滤器，其目标是logtime字段：

Pipe

这将用日期替换字符串，并且不会显示映射问题带date { 'match' => ["logtime", "yyyyMMddHHmmss"] 'target' => "logtime" }的日期过滤器必须放在没有的日期过滤器之后，否则将无法使用。

这是一个修复，但你应该尝试调查为什么你有这样的映射。 ES映射与索引相关联，并在接收文档时创建。它们取决于本文件的领域因此，这意味着到达ES的第一个'target' => "logtime"文档在字段artifactory-request中有一个日期。或者，ES中有一个用于创建索引的模板，该模板将日志时间与日期类型相关联。

Elasticsearch未正确映射logstash日期

1 个答案: