Question

我正在尝试从logstash 1.repositories＃create 2。\＆＃34; repo \＆＃34;：\＆＃34; username / reponame \＆＃34; 。请分享您的想法，从这个outpput grep特定的信息，并将其分配给另一个变量

＆＃34;消息＆＃34; =＆GT; ＆＃34;＆lt; 190＆gt; 11月01日20:35:15 10-254-128-66 github_audit：{\＆＃34; actor_ip \＆＃34;：\＆＃34; 192.168.1.1 \＆＃34; ，\＆＃34;从\＆＃34;：\＆＃34;储存库＃创建\＆＃34; \＆＃34;演员\＆＃34;：\＆＃34; myuserid \＆＃34; ，\＆＃34;回购\＆＃34;：\＆＃34;用户名/ reponame \＆＃34; \＆＃34;操作\＆＃34;：\＆＃34; staff.repo_route \＆＃ 34; \＆＃34; created_at \＆＃34;：1516286634991，\＆＃34; repo_id \＆＃34;：44743，\＆＃34; actor_id \＆＃34;：1033，\＆＃34;数据\＆＃34;：{\＆＃34; actor_location \＆＃34;：{\＆＃34;位置\＆＃34;：{\＆＃34; LAT \＆＃34;：空，\＆＃34; LON \＆＃34;：空}}}}＆＃34;，

我正在使用此syslog.conf文件来获取输出。

input {
  tcp {
    port => 8088
    type => syslog
  }
  udp {
    port => 8088
    type => syslog
  }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp}"
    }
    grep {
      match => { "message" => "repositories#create" }
    }
  }
}

output {
  elasticsearch { host => localhost }
  stdout { codec => rubydebug }
}

我无法为您的回复添加我的评论，非常感谢您的回复。

请您分享您的想法以获取用户名：和repo：仅从此输出中，我尝试从此特定输出中分配值，再次感谢

消息：＆＃34; github_audit：{＆＃34; actor_ip＆＃34;：＆＃34; 192.168.1.1＆＃34;，＆＃34;来自＆＃34;：＆＃34;存储库#create＆＃ 34;，＆＃34;演员＆＃34;：＆＃34;用户名＆＃34;＆＃34;回购＆＃34;：＆＃34;用户名/ logstashrepo＆＃34;＆＃34;使用者＆＃34 ;: ＆＃34;用户名＆＃34;＆＃34; created_at＆＃34;：1416299104782，＆＃34;动作＆＃34;：＆＃34; repo.create＆＃34;＆＃34; USER_ID＆＃34;：1033 ＆＃34; repo_id＆＃34;：44744＆＃34; actor_id＆＃34;：1033，＆＃34;数据＆＃34; {＆＃34; actor_location＆＃34; {＆＃34;位置＆＃34 ;：{＆＃34; LAT＆＃34;：空，＆＃34; LON＆＃34;：空}}}}＆＃34 ;, @version：＆＃34; 1＆＃34;， @timestamp：＆＃34; 2014-11-18T08：25：05.427Z＆＃34;，主持人：＆＃34; 15-274-145-63＆＃34;，键入：＆＃34; syslog＆＃34;， syslog5424_pri：＆＃34; 190＆＃34;，时间戳：＆＃34; 11月18日00：25：05＆＃34;， actor_ip：＆＃34; 10.239.37.185＆＃34;，来自：＆＃34;存储库#create＆＃34;，演员：＆＃34;用户名＆＃34;， repo：＆＃34; username / logstashrepo＆＃34;，用户：＆＃34;用户名＆＃34;， created_at：1416299104782，行动：＆＃34; repo.create＆＃34;， user_id：1033， repo_id：44744， actor_id：1033，

Answer 1

使用grok filter将JSON有效内容提取到单独的字段中，然后使用json filter从JSON对象中提取字段。以下示例有效，但仅从前缀为“github_audit：”的消息中提取JSON有效内容。我还猜测时间戳之后的字段是一个主机名，它应该覆盖当前“主机”字段中的任何内容。不要忘记添加date filter来将“timestamp”字段中的字符串解析为“@timestamp”。

filter {
  grok {
    match => [
      "message",
      "%{SYSLOG5424PRI}%{SYSLOGTIMESTAMP:timestamp} %{HOSTNAME:host} %{GREEDYDATA:message}"
    ]
    overwrite => ["host", "message"]
  }
  if [message] =~ /^github_audit: / {
    grok {
      match => ["message", "^github_audit: %{GREEDYDATA:json_payload}"]
    }
    json {
      source => "json_payload"
      remove_field => "json_payload"
    }
  }
}

如何从logstash输出grep特定字段

1 个答案: