Question

假设我有一个如下所示的日志文件：

# time, count
2016-09-07 23:00:00,    1108731
2016-09-07 23:00:02,    1108733
2016-09-07 23:00:03,    1108734

现在，每个下一行都包含过去发生的所有事件的总和。我想在kibana中使用它，自然的方式是将count作为deltafied数字。

所以我期待以下效果：

# time, count, deltaCount
2016-09-07 23:00:00,    1108731, 0
2016-09-07 23:00:02,    1108733, 2
2016-09-07 23:00:03,    1108734, 1

如何在logstash中实现这一目标。我知道我可以事先编辑这些文件。谢谢！

Answer 1

解决方案＃1：编写插件

一种方法是创建一个插件。同样的问题得到解决here。但是，在那里发布的过滤器不公开，更糟糕的是，它实际上是5行代码。

解决方案＃2：Ruby代码段

我在elastic论坛上找到了一个解决方案：Keeping global variables in LS?!。标题说明了一切。

简而言之，解决方案如下：

filter {
    ...
    ruby {
        init => "@@previous_count = -1"
        code => "
            if (@@previous_count == -1)
                delta = 0
            else 
                delta = event.get('count') - @@previous_count
            end
            event.set('requests', delta)

            # remember event for next time
            @@previous_count = event.get('count')
        "
    }
}

毕竟不是那么难。

计算logstash中不同事件之间的差异或增量

1 个答案:

解决方案＃1：编写插件

解决方案＃2：Ruby代码段