在过去几天尝试了很多配置,但无法正常启动和运行ELK:
ES says Facet [0]: (key) field [@timestamp] not found
LS says Parse Failure [No mapping found for [@timestamp] in order to sort on]]
帖子说转到你的信息中心 - >设置 - >索引并用[logstash *]替换[_all]并不能解决问题。所以第一个问题是:哪里是寻找解决方案的正确位置 - ES,LS或Kibana?
我目前的配置如下:
版本
Kibana
我的Kibana仪表板索引设置如下:
时间戳:日
索引模式:[logstash-] YYYY.MM.DD
LS
`
input {
file {
type => "registrations1"
path => [ "/opt/source/EU/A1/reg1/*.log" ]
start_position => "beginning"
discover_interval => 1
}
file {
type => "registrations2"
path => [ "/opt/source/EU/A1/reg2/*.log" ]
start_position => "beginning"
discover_interval => 1
}
}
filter {
if [type] == "registrations1"
{
if "_grokparsefailure" in [tags] {
drop { }
}
grok {
patterns_dir => "/opt/logstash-1.4.1/patterns"
match => [ "message", "%{TIMESTAMP_ISO8601:logdate} %{UUID:pat} %{NUMBER:cntpat:int}" ]
}
date {
match => [ "logdate", "ISO8601" ]
}
}
if [type] == "registrations2"
{
if "_grokparsefailure" in [tags] {
drop { }
}
grok {
patterns_dir => "/opt/logstash-1.4.1/patterns"
match => [ "message", "%{TIMESTAMP_ISO8601:logdate} %{UUID:inst} %{NUMBER:cntinst:int}" ]
}
date {
match => [ "logdate", "ISO8601" ]
}
}
}
output {
elasticsearch {
host => localhost
}
}
`
文件类型registrations1的一些示例条目:
2014-01-03T12:19:05.683 00000000-0000-0000-0000-000000000001 1
2014-01-03T14:51:22.690 00000000-0000-0000-0000-000000000002 1
2014-01-05T16:09:03.970 00000000-0000-0000-0000-000000000003 1
2014-01-06T11:42:12.963 00000000-0000-0000-0000-000000000004 1
2014-01-06T13:35:54.697 00000000-0000-0000-0000-000000000005 1
2014-01-06T13:40:26.513 00000000-0000-0000-0000-000000000006 1
2014-01-07T13:51:12.777 00000000-0000-0000-0000-000000000007 1
2014-01-07T14:19:37.620 00000000-0000-0000-0000-000000000008 1
registrations2条目几乎相同 - 具有不同的时间戳和UUID。
registrations1文件包含485个条目 - 在Kibana中只显示213个(或有时为199个)。为什么?是的,我已经从default.conf调整了Kibana datetime picker + removed drop语句。
任何想法都受到高度赞赏。
最佳, 亚历