elasticsearch：为每个日志创建一个索引吗？

Question

我正在使用elasticsearch从测试用例的自动化运行中索引日志。我正在为每个运行创建一个索引（可以有1000到100万个事件）。我每天创建大约200个索引。这是为每次运行创建索引的一种好方法吗？或者我应该只有一个索引然后将多次运行的所有日志放入此索引中？ 数据量巨大，因此我选择了单独的索引。我期待每天200个日志，每个事件有100万个。请帮帮我

Answer 1

取决于您希望保留数据的时长和群集的大小。每天200个索引，每个索引都有很多相关文件，你会看到很多文件句柄。所以，这听起来并不像是在一个非常小的集群上超过几周或几个月，因为你的文件句柄用完了。

更好的策略可能是默认执行logstash所做的操作，即每天创建一个新索引。然后，您的下一个选择是使用群集中的分片和节点数。假设您希望在3或5节点群集上每天存储200M日志条目的最坏情况，则可能默认为5个分片。如果您需要更多节点，则可能需要更多分片，以便每个分片都更小。还可以考虑使用elasticsearch curator来例如关闭旧指数并优化它们。