在Logstash

Question

我目前正在开发两个logstash项目，一个是监控IIS日志，另一个是防火墙。

现在，IIS日志来自高使用率的服务器，每月生成大约25GB的日志，其中有几个。这里的问题是我们不希望启用反向查找，不是在服务器上，也不是在Logstash中，而是从外部服务启用反向查找，因为我们可以在logstash中的DNS查找功能之外进行缓存。

我们希望通过防火墙项目解决的另一个问题与查找标准端口和非标准端口有关。我们的防火墙只生成一个我们想要翻译的目标端口号，以使我们的Kibana仪表板更具可读性。防火墙的流量约为10Gb / s，并产生大量的syslog流量。

我们目前在logstash服务器上运行8-16名工作人员。是否有一种简单的（？）方式从logstash进行API调用，是否值得根据性能进行考虑？

我正在考虑的另一个选择是“离线”批处理，即直接向弹性搜索运行批处理作业，但这最可能意味着我应该在FrontEnd之前有一个单独的elasticsearch或redis实例。

然而，最好的选择最有可能是在Kibana界面中进行翻译，作为一个脚本字段，但据我所知，这对我的用户用途不起作用？

Answer 1

dns {}过滤器使用本地计算机的分辨率，因此您无法将其与非DNS缓存集成，而无需创建新过滤器或删除到ruby {}。

根据您拥有的值的数量，您可以将它们发布到文件并使用translate {}，但我只建议用于私有网络查找等。

如果您的DNS数据位于elasticsearch中，您可以在过滤期间对其进行查询，并以此方式向您的活动添加字段。

对于您的防火墙端口问题，您没有提供原始值和所需值的示例，但请再次查看translate {}或drop to ruby​​ {}。