ElasticSearch性能:连续读/写与批量写入

时间:2013-10-29 18:26:33

标签: elasticsearch

我是Elastic Search的新手。我需要实现一个系统,我将在一天内持续获取数据。我想使这个数据源可搜索,所以我使用ElasticSearch。

现在,我有两种方法可以解决这个问题: 1)将来自feed的数据存储在mongo中。并定期将此数据提供给ElasticSearch,每天说两次。 2)直接向ElasticSearch提供数据,这是一个连续的过程。同时,ElasticSearch必须执行搜索查询。

我预计每秒大约有20个条目来自数据Feed,而ElasticSearch每秒大约有2-3个查询。

请指教。

2 个答案:

答案 0 :(得分:1)

您能告诉我们有关您的群集架构的更多信息吗?多少个节点?所有节点都有数据或网关节点? 通常我会说直接喂食elasticsearch应该不是问题。对于弹性搜索,每秒2-3次查询并不多。

答案 1 :(得分:1)

您应该为它优化索引结构和应用程序代码:

  1. 为每天创建单独的索引
  2. 增加分片数量(你 应根据您的硬件配置进行试验)
  3. 老了 日期指数你应该关闭它们或聚合成大的时期 (另一个月索引)使用一些批处理
  4. 从我的测试中,20次插入/秒对弹性搜索来说不是一个很大的负担