如何将日志文件转换为流利的

时间:2015-02-04 11:47:14

标签: logging elasticsearch kibana fluentd

我想用kibana和流利的设置弹性搜索。我有两台机器。机器1作为日志文件的来源。使用每个http请求创建日志,并将每个请求存储到单独的日志文件中。日志路径strcuture类似于/path/year/month/day/hour/*.log。我想在机器2上安装带有kibana的elasticsearch。

我已经阅读了一些关于流利的转发器和agregator的内容,我还阅读了有关前向输出插件的内容。但我仍然不确定如何设置这台机器。通常转发器用于发送单个日志文件,但我有多个文件。

请您指出正确的方向如何在两台机器上设置流利的设备,这样我就可以在机器1的机器2日志上浏览kibana。

一个日志文件的格式:

IP Adress: xxx.xxx.xxx.xxx
Time: xx:xx:xx xxxx/xx/xx
Data: <xml>....</xml>

任何帮助都会受到很大关注。

由于

1 个答案:

答案 0 :(得分:0)

我正在研究Bigdata并对你的问题有所了解。我想你只需要使用它(http://docs.fluentd.org/articles/in_tail)用于机器1,它将获得日志并推送到你安装此插件(https://github.com/uken/fluent-plugin-elasticsearch)的机器2上。希望它会有所帮助!