过滤来自Splunk事件的重复条目

Question

我是splunk的新手，有如下一些splunk事件

2019-06-26 23:45:36 INFO ID 123456 | Response Code 404 2019-06-26 23:55:36 INFO ID 123456 | Response Code 404 2019-06-26 23:23:36 INFO ID 258080 | Response Code 404

是否可以过滤出前两个事件，因为它们具有相同的ID 123456并将其视为一个事件？ 我尝试了一些我完全知道是错误的事情，对此，建议可能会非常有用。

index=myindex "Response Code 404" | rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" | stats count by ID MyID | where count > 1

Answer 1

那不是完全错误。这是删除重复项的合法方法之一。这是另一个：

index=myindex "Response Code 404"  
| rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" 
| dedup MyID

通常首选使用dedup，因为它不会像stats那样删除字段。

Answer 2

我知道这是晚答复，但是如果时间戳不同，则这些事件实际上不是重复事件。我会更担心找出是什么机器在不同时间两次发送事件（以及为什么要消除结果。为什么要记住结果呢？请记住，每个事件都会违反您的许可，尽管看起来很小，但足够多了）高达GB。