我需要什么样的设置 - 在云中存储/聚合/报告日志文件

Question

我在多个Windows群集上有大约1000个站点。 IIS日志文件（文本文档）可用于服务器上设置位置中的每个站点。我正在寻找的解决方案应该能够做到以下几点。

1）将日志文件推送到云端。 2）阅读这些日志文件并按网址汇总数据，如访问次数，浏览次数和点击次数，并将其存储在云端，以便于报告。 3）通过第三方报告解决方案访问汇总数据。

首先，我想弄清楚我的选择是什么以及我需要什么样的设置。

Answer 1

我有一个类似的用例。我使用工具NXLog - ＆gt; Logstash - ＆gt; Elasticsearch - ＆gt; Kibana（ELK堆栈）。我发现这个解决方案易于使用和扩展。我的使用非常关注规模（> 40,000对数/秒）和高可用性（没有停机时间），这是一个很好的解决方案。我会按照你提出的顺序解决你的问题：

1. 我们使用NXLog发送日志文件。

   • 在要从中收集日志的每台Windows计算机上安装NXLog。 https://www.loggly.com/docs/logging-from-windows/
   • 配置NXLog以将IIS日志转换为JSON https://www.loggly.com/docs/iis-web-server-logs/

2. NXLog将这些日志发送到Logstash。

   • 安装并配置Logstash。 Logstash将收集您的所有日志（如果您选择Logstash，您甚至可以从其他来源发送）并规范化数据。 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html
   • 配置NXLog以指向您刚刚设置的Logstash。
   • 安装并配置Elasticsearch。 Elasticsearch是一个高度可扩展的全文搜索引擎，允许您存储和分析大量数据。 https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html
   • 配置Logstash以指向该Elasticsearch。这是一篇包含示例配置的博客文章。 https://blog.sstorie.com/importing-iis-logs-into-elasticsearch-with-logstash/
   • 安装和配置Kibana以进行可视化。 https://www.elastic.co/downloads/kibana
   • 使用Kibana创建和可视化聚合 https://www.elastic.co/blog/kibana-aggregation-execution-order-and-you
3. 哪个第三方报告解决方案？你能提供更多信息，也许我可以帮忙吗？

有关将ELK堆栈用于日志记录用例的更多资源：

• http://logz.io/learn/complete-guide-elk-stack
• https://www.elastic.co/webinars/introduction-elk-stack

修改： Chartio integrates with Elasticsearch。您问过“在哪个过程中我可以汇总数据并将其存储，以便通过报告应用程序轻松获取数据？” Elasticsearch进行数据聚合和存储。您使用我上面详述的堆栈将数据存储在Elasticsearch中，然后您可以集成Chartio等报告应用程序。