我正在尝试解析我们的日志文件并将它们发送到elasticsearch。问题是我们的S3客户端是将行注入包含回车符（\ r）而不是新行符号（\ n）的文件中。文件输入过滤器的配置使用'\ n'作为分隔符，与99％的数据一致。当我对这些数据运行logstash时，它错过了我真正想要的最后一行。这是因为文件输入过滤器将'\ n'字符视为普通文本而不是新行。为了解决这个问题，我试图使用Mutate Filter将'\ r'字符重写为'\ n'。变异有效，但Grok仍将其视为一条大线。和_grokparsefailure。
我的'普通'日志文件按预期排列Grok。
input {
file {
path => "/home/pa_stg/runs/2015-12-09-cron-1449666001/run.log"
start_position => "beginning"
sincedb_path => "/data/logstash/sincedb"
stat_interval => 300
type => "spark"
}
}
filter{
mutate {
gsub => ["message", "\r", "
"]
}
grok {
match => {"message" => "\A%{DATE:date} %{TIME:time} %{LOGLEVEL:loglevel} %{SYSLOGPROG}%{GREEDYDATA:data}"}
break_on_match => false
}
}
output{
stdout { codec => rubydebug }
}
输入文件中的此示例说明了问题。 ^ M字符是vim如何显示'\ r'回车（'more'隐藏其中大部分）。我按原样离开了这条线，这样你就可以看到整个东西在linux中被看到，而File Plugin就是单行文本。
^M[Stage 79:=======> (30 + 8) / 208]^M[Stage 79:============> (49 + 8) / 208]^M[Stage 79:=================> (65 + 8) / 208]^M[Stage 79:=====================> (83 + 8) / 208]^M[Stage 79:===========================> (105 + 8) / 208]^M[Stage 79:===============================> (122 + 8) / 208]^M[Stage 79:====================================> (142 + 8) / 208]^M[Stage 79:=========================================> (161 + 8) / 208]^M[Stage 79:==============================================> (180 + 6) / 208]^M[Stage 79:==================================================> (195 + 3) / 208]^M[Stage 79:=====================================================>(206 + 1) / 208]^M ^M^M[Stage 86:==============> (55 + 8) / 208]^M[Stage 86:===================> (75 + 8) / 208]^M[Stage 86:==========================> (101 + 8) / 208]^M[Stage 86:===============================> (123 + 8) / 208]^M[Stage 86:======================================> (147 + 8) / 208]^M[Stage 86:============================================> (173 + 6) / 208]^M[Stage 86:==================================================> (193 + 3) / 208]^M[Stage 86:=====================================================>(205 + 1) / 208]^M ^M^M[Stage 93:===================> (74 + 8) / 208]^M[Stage 93:===========================> (104 + 8) / 208]^M[Stage 93:==================================> (132 + 8) / 208]^M[Stage 93:========================================> (157 + 9) / 208]^M[Stage 93:================================================> (186 + 6) / 208]^M[Stage 93:=====================================================>(206 + 2) / 208]^M ^M15/12/09 13:03:46 INFO SomethingProcessor$: Something Processor completed
15/12/09 13:04:44 INFO CassandraConnector: Disconnected from Cassandra cluster: int
{
"message" => "\n[Stage 79:=======> (30 + 8) / 208]\n[Stage 79:============>
(49 + 8) / 208]\n[Stage 79:=================> (65 + 8) / 208]\n[Stage 79:===
==================> (83 + 8) / 208]\n[Stage 79:===========================> (105 + 8
) / 208]\n[Stage 79:===============================> (122 + 8) / 208]\n[Stage 79:====================================>
(142 + 8) / 208]\n[Stage 79:=========================================> (161 + 8) / 208]\n[Stage 79:================
==============================> (180 + 6) / 208]\n[Stage 79:==================================================> (195 + 3) / 208]\n[St
age 79:=====================================================>(206 + 1) / 208]\n
\n\n[Stage 86:==============> (55 + 8) / 208]\n[Stage 86:===================>
(75 + 8) / 208]\n[Stage 86:==========================> (101 + 8) / 208]\n[Stage 86:====
===========================> (123 + 8) / 208]\n[Stage 86:======================================> (147 + 8)
/ 208]\n[Stage 86:============================================> (173 + 6) / 208]\n[Stage 86:========================================
==========> (193 + 3) / 208]\n[Stage 86:=====================================================>(205 + 1) / 208]\n
\n\n[Stage 93:===================> (74 + 8) / 208]\n[S
tage 93:===========================> (104 + 8) / 208]\n[Stage 93:==================================>
(132 + 8) / 208]\n[Stage 93:========================================> (157 + 9) / 208]\n[Stage 93:============================
====================> (186 + 6) / 208]\n[Stage 93:=====================================================>(206 + 2) / 208]\n
\n15/12/09 13:03:46 INFO SomethingProcessor$: Something Processor com
pleted",
"@version" => "1",
"@timestamp" => "2015-12-09T22:16:52.898Z",
"host" => "ip-10-252-1-225",
"path" => "/home/something/pa_stg/runs/2015-12-09-cron-1449666001/run.log",
"type" => "spark",
"tags" => [
[0] "_grokparsefailure"
]
}
我需要grok解析这一行，因为它是换行符'\ n'。任何人都知道如何解决这个问题？
15/12/09 13:03:46 INFO SomethingProcessor$: Something Processor completed
答案 0 :(得分：0)
我相信您所寻找的可能是多线过滤器。
https://www.elastic.co/guide/en/logstash/current/plugins-filters-multiline.html
如果我没记错的话，这个过滤器负责决定日志行是否是新行。例如，我使用它来连接所有行，不以“[INFO]”开头。
multiline {
pattern => "^\[%{LOGLEVEL}\]"
negate => true
what => "previous"
}
我希望有帮助