使用Logstash从日志文件中提取信息

时间:2015-08-17 09:25:55

标签: apache logstash logstash-grok

我有一个非结构化的日志文件,通过unix我做了一些结构化修改。日志文件如下所示:

Module: KFK_PIG_ETL_JOBVW_7DAYS: 2015-06-03 15 28 27,976 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2017  Internal error creating job configuration.
Module: KFK_SONORA_RM_LRF: >>> [ERROR] Wed Jun  3 08 25 07 PDT 2015   Executing command  ssh -K data_svc@lva1-tarockgw01.grid.linkedin.com "export KRB5CCNAME=/export/home/data_svc/krb5cc_data_svc ; hadoop  fs -D appworx.chain.id=2905148 -D appworx.agent=LVA1-ETL04 -D appworx.job.id=2905178.00 -rm -r -skipTrash /jobs/data_svc/etl/tracking/lrf/STG_DAILY_JOB_VIEW/20150602-20150602.gz       " 

我正在尝试使用Logstash从上面的日志中提取以下所需信息。

  • 模块
  • 时间戳
  • 错误

基本上从日志中提取了以上所有3个字段之后,我想在Kibana仪表板中显示一段时间以及特定模块出现的错误类型。

有人可以建议相同的logstash conf文件模式。

0 个答案:

没有答案