Question

目标：我有一个日志文件，我希望在下面给出的日志文件中的字符串 Amount ::: 之后提取金额详细信息。

到目前为止我做了什么：由于它是自定义分析，我使用RegEx创建了一个自定义模式，我正在尝试使用logstash实现它。

这是我的日志文件 -

28-04-2017 14:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 3000.00  
28-04-2017 12:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 31000.00  
28-04-2017 14:15:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 10000.00  
28-04-2017 11:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 9000.00  
28-04-2017 08:15:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 7000.00

我使用正则表达式找到字符串 Amount :::
注意：我想提取字符串 Amount :::

之后的子字符串

这是我在Grok中使用的自定义模式：
（但它没有产生好的结果）

CUSTOM_AMOUNT (?<= - Amount::: ).*    
CUSTOM_AMOUNT (?<=Amount::: )%{BASE16FLOAT}

这是我的logstacsh.conf -

input { 
    file {
       path => "D:\elk\data\amnt_parse.txt"
       type => "customgrok"
       start_position => "beginning"
       sincedb_path => "/dev/null"
         } 
      }  
 filter{ 
       if[type]== "customgrok" {

            if "_grokparsefailure" in [tags] { 
                              grok { 
                                   patterns_dir => "D:\elk\logstash-5.2.1\vendor\bundle\jruby\1.9\gems\logstash-patterns-core-4.0.2\patterns\custom" 

                                    match => { "message" => "%{CUSTOM_AMOUNT:amount" } 
                                    add_field => { "subType" => "Amount"           } 

    } 

    }
    }  
 mutate {
      gsub => ['message', "\t", " "] 
        }  } }

 output {
     stdout {
         codec => "rubydebug"
            }
     elasticsearch {
         index => "amnt_parsing_change"
          hosts =>"localhost"

            }
            }

我们的意图是使用Kibana和Elasticsearch基于提取的子字符串可视化和执行聚合操作。
但它将日志文件存储到变量"message"中。正如你在这里看到的，match => { "message" => "%{CUSTOM_AMOUNT:amount" }。

当我尝试在 Kibana 中查看该行时，该行是如何存储在"message"中的 -

"message": "28-04-2017 11:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 9000.00\r",  
"message": "28-04-2017 12:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 31000.00\r",    
"message": "28-04-2017 11:45:50 INFO  abcinfo (ABC_TxnLog_ServiceImpl.java295) - Amount::: 9000.00\r",

Logstash文件正在加载数据（日志文件），并且还创建了索引，但Custom Pattern未提供预期结果。有什么可能提取我上面提到的子字符串？或者我们有其他选择吗？

Answer 1

以下是您需要做的事情：

filter {
     grok {
                match => {
                        "message" => "%{DATESTAMP:Date} %{WORD:LogSeverity}\s+%{WORD:LogInfo} \(%{NOTSPACE:JavaClass}\) \- Amount::: %{NUMBER:Amount}"
                        }
        }
                mutate
                        {
                                gsub =>
                                [
                                        "Data"," ","-"
                                ]
                                #If you dont want those fields
                                remove_field => ["Date","LogSeverity","LogInfo","JavaClass"]

                        }
        }

我建议你阅读文件：

Grok Documentation Grok Patterns

您可以使用以下调试器：

GrokDebbuger

使用logstash

1 个答案: