我使用Logstash,redis,弹性搜索和kibana创建了一个演示环境。 (http://indico.cern.ch/getFile .....
这里logstash发货人正在从日志文件中读取日志,我已经使用syslog-ng集中了。 Loogstash发货人将它转发给redis然后转发Logstash索引器(过滤器),最后转发给Elasticsearch。
现在我想跳过logstash发货人和redis部分。这是一个好主意吗?或redis是强制性的或需要处理重负载。我不确定。
在上面的pdf链接中,我读到Logstash具有低缓冲,redis管理日志流,这就是使用redis的原因。由于redis将数据保存在内存中,如果内存已满?另请注意,Logstash和Elasticsearch在RAM使用方面可能非常饥饿。需要适当调整JVM选项。若然后,如何调整JVM?
是否需要清除/旋转elasticsearch数据/索引?
哪一个最适合重载?我想解析[系统(操作系统和守护程序)日志,系统日志,Web服务器日志(apache,lighttpd),应用程序服务器日志(tomcat),数据库服务器日志(mysql)和一些应用程序日志(通过日志文件)]等日志。 / p>
提出改进建议。谢谢!!!。
请为IMAGE找到以下链接。
(http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg)
答案 0 :(得分:0)
在设置中,您不需要使用Redis,使用syslog-ng集中日志文件与使用多个出货单时的Redis具有相同的用途。
可能需要修剪elasticsearch索引以减少磁盘空间需求。这取决于您的elasticsearch数据增长的速度,可用磁盘空间的大小以及您可以搜索日志的时间长度。
我无法就JVM调优提出建议。