Question

我有logstash的以下配置。这一部分有三个部分是我们用于它们在这里所有应用程序的通用日志。第二部分是应用程序统计信息，其中我们有一个特定的记录器，它将被配置为推送应用程序统计信息第三，我们有客户端事件发生时的点击统计信息，我们可能希望将其推送到更新地址的logstash。所有3个都是基于udp的，我们还使用log4net将日志发送到logstash。基本安装没有GeoIP.dat文件，因此从https://dev.maxmind.com/geoip/legacy/geolite/下载了文件已将文件放在/ opt / logstash / GeoIPDataFile中，对文件和文件夹具有777权限。第二件事是我有一个国家名称，我需要一种方式来显示每个国家/地区有多少用户在过去24小时内查看该应用程序。因此，我们还会在应用程序的配置文件中捕获国家/地区名称。现在我需要一种方法来让地理坐标在kibana中使用tilemap。我究竟做错了什么。如果我采取geoIP {source - =＆gt; ＆＃34;国家＆＃34; logstash部分工作正常。当我检查 / opt / logstash / bin / logstash -t -f /etc/logstash/conf.d/logstash.conf 我收到的配置文件是好的。我要去哪里？任何帮助都会很棒。输入{ udp { port =＆gt; 5001 type =＆gt; generallog } udp { port =＆gt; 5003 type =＆gt; applicationstats } udp { port =＆gt; 5002 type =＆gt; clickstats } } 过滤器{ if [type] ==＆＃34; generallog＆＃34; { grok { remove_field =＆gt;信息 match =＆gt; {message =＆gt; ＆＃34;（？m）％{TIMESTAMP_ISO8601：sourcetimestamp} \ [％{NUMBER：threadid} \]％{LOGLEVEL：loglevel} + - ％{IPORHOST：requesthost} - ％{WORD：applicationname} - ％{WORD： envname} - ％{GREEDYDATA：logmessage}＆＃34; } } if！（＆＃34; _grokparsefailure＆＃34; in [tags]）{ 变异{ replace =＆gt; [＆＃34;消息＆＃34; ，＆＃34;％{logmessage}＆＃34; ] replace =＆gt; [＆＃34;主持人＆＃34; ，＆＃34;％{requesthost}＆＃34; ] add_tag =＆gt; ＆＃34; generalLog＆＃34; } } } if [type] ==＆＃34; applicationstats＆＃34; { grok { remove_field =＆gt;信息 match =＆gt; {message =＆gt; ＆＃34;（？m）％{TIMESTAMP_ISO8601：sourceTimestamp} \ [％{NUMBER：threadid} \]％{LOGLEVEL：loglevel} - ％{WORD：envName} \ |％{IPORHOST：actualHostMachine} \ |％{WORD ：的applicationName} \ |％{NUMBER：EMPID} \ |％{WORD：regionCode} \ |％{DATA：国家} \ |％{DATA：applicationName的} \ |％{NUMBER：staffapplicationId} \ |％{WORD：了ApplicationEvent }＆＃34; } } geoip { source =＆gt; ＆＃34;国家＆＃34; target =＆gt; ＆＃34; geoip的＆＃34; database =＆gt; ＆＃34; /opt/logstash/GeoIPDataFile/GeoIP.dat" add_field =＆gt; [＆＃34; [geoip] [coordinates]＆＃34;，＆＃34;％{[geoip] [经度]}＆＃34; ] add_field =＆gt; [＆＃34; [geoip] [coordinates]＆＃34;，＆＃34;％{[geoip] [latitude]}＆＃34; ] } 变异{ convert =＆gt; [＆＃34; [geoip] [coordinates]＆＃34;，＆＃34; float＆＃34;] } if！（＆＃34; _grokparsefailure＆＃34; in [tags]）{ 变异{ add_tag =＆gt; ＆＃34; applicationstats＆＃34; add_tag =＆gt; [＆＃34; eventFor _％{applicationName}＆＃34; ] } } } if [type] ==＆＃34; clickstats＆＃34; { grok { remove_field =＆gt;信息 match =＆gt; {message =＆gt; ＆＃34;（？m）％{TIMESTAMP_ISO8601：sourceTimestamp} \ [％{NUMBER：threadid} \]％{LOGLEVEL：loglevel} - ％{IPORHOST：remoteIP} \ |％{IPORHOST：fqdnHost} \ |％{IPORHOST ：actualHostMachine} \ |％{WORD：applicationName的} \ |％{WORD：ENVNAME} \ |（％{NUMBER：clickId的}）\ |（％{DATA：clickName}）？\ |％{DATA：clickEvent} \ |％{WORD：域名} \\％{WORD：用户名}＆＃34; } } if！（＆＃34; _grokparsefailure＆＃34; in [tags]）{ 变异{ add_tag =＆gt; ＆＃34; clicksStats＆＃34; add_tag =＆gt; [＆＃34; eventFor _％{clickName}＆＃34; ] } } } } 输出{ if [type] ==＆＃34; applicationstats＆＃34; { elasticsearch { hosts =＆gt; ＆＃34;本地主机：9200＆＃34; index =＆gt; ＆＃34; applicationstats - ％{+ YYYY-MM-DD}＆＃34; template =＆gt; ＆＃34; /opt/logstash/templates/udp-applicationstats.json" template_name =＆gt; ＆＃34; applicationstats＆＃34; template_overwrite =＆gt;真正 } } 否则如果[type] ==＆＃34; clickstats＆＃34; { elasticsearch { hosts =＆gt; ＆＃34;本地主机：9200＆＃34; index =＆gt; ＆＃34; clickstats - ％{+ YYYY-MM-DD}＆＃34; template =＆gt; ＆＃34; /opt/logstash/templates/udp-clickstats.json" template_name =＆gt; ＆＃34; clickstats＆＃34; template_overwrite =＆gt;真正 } } 如果[type] ==＆＃34; generallog＆＃34; { elasticsearch { hosts =＆gt; ＆＃34;本地主机：9200＆＃34; index =＆gt; ＆＃34; generallog - ％{+ YYYY-MM-DD}＆＃34; template =＆gt; ＆＃34; /opt/logstash/templates/udp-generallog.json" template_name =＆gt; ＆＃34; generallog＆＃34; template_overwrite =＆gt;真正 } } 其他{ elasticsearch { hosts =＆gt; ＆＃34;本地主机：9200＆＃34; index =＆gt; ＆＃34; logstash - ％{+ YYYY-MM-DD}＆＃34; } } }

Answer 1

根据错误消息，您尝试做的突变可能是错误的。您可以更改mutate，如下所示：

    mutate {
        convert => { "geoip" => "float" }
        convert => { "coordinates" => "float" }
      }

我猜您已将mutate作为数组，并且它是hash类型的原点。尝试单独转换这两个值。您database的{{1}} geoip路径似乎没问题。这是你在问题中提到的整个错误吗？如果可能的话，如果没有用整个错误更新问题。

有关详细说明，请参阅here。

：reason =＆gt;＆＃34;您的配置出了问题。＆＃34; GeoIP.dat Mutate Logstash

1 个答案: