Logfile在elasticsearch中赢得了很多

时间:2017-01-08 16:03:49

标签: elasticsearch configuration logstash logstash-grok logstash-configuration

我对logstash和elasticsearch非常新,我试图以我能够的方式将我的第一个日志存储到logstash(如果不是目的,请纠正我)使用elasticsearch搜索它.... / p>

我的日志基本上是这样的:

2016-12-18 10:16:55,404 - INFO - flowManager.py - loading metadata xml

所以,我创建了一个如下所示的配置文件test.conf:

input {
  file {
    path => "/home/usr/tmp/logs/mylog.log"
    type => "test-type"
    id => "NEWTRY"
 }
}
filter {
  grok {
    match => { "message" => "%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second} - %{LOGLEVEL:level} - %{WORD:scriptName}.%{WORD:scriptEND} - " }
  }
}
output {
  elasticsearch {
    hosts =>  ["localhost:9200"]
    index => "ecommerce"
    codec => line { format => "%{year}-%{month}-%{day} %{hour}:%{minute}:%{second} - %{level} - %{scriptName}.%{scriptEND} - \"%{message}\"" }
  }
}

然后:./bin/logstash -f test.conf

当我转到http://localhost:9200/ecommercehttp://localhost:9200/ecommerce/test-type/NEWTRY

时,我看不到登录弹性搜索

请告诉我我做错了什么......:\

谢谢, 石楠

1 个答案:

答案 0 :(得分:1)

我最终找到了解决方案 -

我将sincedb_path=>"/dev/null"(我所理解的仅用于测试环境)和start_position => "beginning"添加到输出文件插件中,文件同时出现在弹性和kibana中

非常感谢您回复并尝试提供帮助!