高流量下的弹性搜索指标策略

Question

我们将ElasticSearch用于我们工具的实时指标和分析部分。当我们查询数据时，ElasticSearch非常酷且速度很快。 （统计方面和术语方面）

但是当我们尝试索引每小时数据时，我们会遇到问题。我们从其他服务收集每个度量数据。首先，我们从其他服务收集数据并保存RabbitMQ进程。但是当队列工作者运行我们的所有小时数据而不是索引到ES时。通常ES中的数据索引为％40，其他数据丢失。

那么您对高流量时索引ES的看法是什么？

Answer 1

我已经发布了其他类似问题的答案：

• Ways to improve first time indexing in ElasticSearch
• Performance issues using Elasticsearch as a time window storage（我的回答的后半部分适用）

此外，您考虑使用“河流”而不是自定义“队列工作者”吗？有关更多信息，请参阅：

• http://www.elasticsearch.org/blog/the-river/
• http://www.elasticsearch.org/guide/reference/river/