我有一个非结构化的日志文件,通过unix我做了一些结构化修改。日志文件如下所示:
Module: KFK_PIG_ETL_JOBVW_7DAYS: 2015-06-03 15 28 27,976 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2017 Internal error creating job configuration.
Module: KFK_SONORA_RM_LRF: >>> [ERROR] Wed Jun 3 08 25 07 PDT 2015 Executing command ssh -K data_svc@lva1-tarockgw01.grid.linkedin.com "export KRB5CCNAME=/export/home/data_svc/krb5cc_data_svc ; hadoop fs -D appworx.chain.id=2905148 -D appworx.agent=LVA1-ETL04 -D appworx.job.id=2905178.00 -rm -r -skipTrash /jobs/data_svc/etl/tracking/lrf/STG_DAILY_JOB_VIEW/20150602-20150602.gz "
我正在尝试使用Logstash从上面的日志中提取以下所需信息。
基本上从日志中提取了以上所有3个字段之后,我想在Kibana仪表板中显示一段时间以及特定模块出现的错误类型。
有人可以建议相同的logstash conf文件模式。