在elasticsearch中存储结构化日志

Question

我们考虑将结构化日志存储在elasticsearch中。这是对弹性搜索新手的高级问题。

我不确定在弹性搜索索引它们之后是否可以删除结构化日志。

我认为没有理由保留原木。它们可以再次从弹性搜索中检索出来。

只要我们有足够的存储空间用于elasticsearch，我们为什么要在elasticsearch之外保留日志的副本？

Answer 1

关于ES中结构化日志的快速说明...我建议查看ELK堆栈：http://www.elasticsearch.org/webinars/elk-stack-devops-environment/

它使用logstash作为运输日志的中心，这是一项非常可靠且真实的技术。

要快速启动并运行，您可以使用已安装ES，logstash和Kibana的Docker映像（https://registry.hub.docker.com/u/qnib/elk/）。试图找出如何自己做的事情，可以避免很多麻烦。

至于保存日志......我只会在机器上保留一小段日志（2周？）。使用logstash转发器作为客户端（https://github.com/elasticsearch/logstash-forwarder），它将自动为您旋转日志。如果ES发生故障，您需要机器上的日志。

Answer 2

引用文档：

_source字段是一个自动生成的字段，用于存储用作索引文档的实际JSON。它没有被索引（可搜索），只是存储。

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html

如果您有elasticsearch的备份，并且您没有禁用_source字段，则可以删除/删除/删除原始的json数据。

在N年后，您可以自由地将来自elasticsearch的旧东西移动到不同的存储中。

答案：您不需要将数据存储在其他位置。