使用Elasticsearch的索引日志文件

时间:2015-04-17 06:32:30

标签: apache elasticsearch kibana flume

我是elasticsearch的新手。我一直在搜索这几天,但找不到任何相关的东西。实际上,我想通过Apache Flume索引来自spooldir的日志文件。

我能够在elasticsearch中接收数据。但现在我希望将日志数据分成几个字段,然后进行索引。比如说......

  

“127.0.0.1 - - [18 / Mar / 2015:20:36:04 -0700]”GET / HTTP / 1.1“404 994”......这是我的日志数据。

现在索引应该像......

 field 1 is IP address,
 field 2 is timestamp, 
 field 3 is GET or POST method,
 field 4 is protocol,
 field 5 is status code,
 field 6 is time taken

然后我想使用Kibana可视化这些字段。默认情况下,我只能看到像

这样的Kibana字段
_source, 
_index,
 _id, 
_type

我希望显示所有这些字段。

2 个答案:

答案 0 :(得分:0)

使用Logstash

Logstash负责索引许多类型的日志。您可以在here中找到使用grok过滤器索引HTTP日志的示例。

如果Logstash索引编制成功,您将能够看到Kibana中的所有日志。

答案 1 :(得分:0)

使用Flume中的Morphline拦截器来解析数据或编写自己的拦截器来完成工作。

Logstash也运行良好,但缺乏Flume的交易功能。