Kibana发现选项卡不反映实时日志。

时间:2018-05-15 01:38:06

标签: elasticsearch logging logstash kibana filebeat

我在一台虚拟机上运行Elastic Search,LogStash和Kibana。使用来自另一个VM的filebeat从另一个服务发送日志。

弹性搜索的版本是:0:6.2.4-1

我在Kibana中启用了自动刷新,每5秒刷新一次,并且还选择了最后15分钟窗口以显示日志。

的问题:

  1. 启动文件节拍后,立即开始发送日志。我可以从文件节拍日志中看到这一点。但是,新日志只会在延迟一段时间后才会反映在Kibana中。行为不一致,在某些情况下我可以看到延迟长达30分钟。这是预期的吗?

  2. 如果,当Kibana屏幕上的刷新被禁用时(即从5秒变为“关闭”),等待15分钟,然后启用刷新(从“关闭”到5秒)。应该是什么行为?所有这15分钟,日志存储和ES实际上都在接收日志,只是禁用了Kibana刷新。 a)它会快速显示前15分钟的日志并开始实时显示新日志吗? b)或者这15分钟的延迟继续存在?我的意思是,从现在开始,我们总是看到Kibana上的日志延迟15分钟吗?

  3. 当文件节拍过程停止时,Kibana仍会显示一些日志并保持刷新。我的期望是,一旦文件节拍停止,kibana上的日志刷新也应该以一个小的延迟(大约几秒)停止。但我看到日志刷新继续发生在接下来的1小时左右。为什么Kibana有这种行为?我错过了什么吗?我还观察到,当Kibana没有任何新日志显示时,我认为它显示的是旧日志。不是100%肯定,但这可能发生吗?

  4. 我搜索了谷歌并堆叠了流量,但实际上无法获得任何有用的信息。快速解释和解决方案或任何有关此问题的指针/链接对我都有用。

    感谢。

1 个答案:

答案 0 :(得分:2)

  • logstash接收日志(在您的情况下,来自filebeats)并将它们发送到elasticsearch,可能会对日志进行一些过滤或解析。默认情况下,日志将保存在elasticsearch中,其中logstash接收日志的日期;此默认日期可以替换为从日志中解析的日期(在字段timestamp中)。
  • elasticsearch保存日志并可以按需返回
  • kibana在弹性搜索中根据其参数检索日志,在您的情况下,使用最后15分钟timestamp的日志

回答你的问题:

  1. 我不知道究竟为什么,我需要更多信息。您应该提出一个问题,其中包含更多详细信息(配置,示例日志,Kibana中显示的数据)
  2. kibana的Last 15 min在现在和现在15分钟之间向timestamp请求弹性搜索日志。所以它将成为c)kibana实时显示日志,忽略现在之前收到的日志--15分钟。
  3. Kibana中的日志刷新将继续,直到您要求它停止,logstash停止接收新日志不会停止kibana自动刷新。从现在到现在15分钟,Kibana将继续询问有timestamp的日志的弹性搜索。因此,如果自文件节点停止后15分钟后kibana继续显示日志,则表示将来有时间戳记的日志。
  4. 为了您的信息,您不应该在一个StackOverflow问题中提出多个问题。