Elasticsearch能够承受这么大的负担还是简单地死掉?

时间:2015-08-07 08:38:31

标签: web elasticsearch scaling

我们的Elasticsearch Server有1个集群3节点,我们希望每秒触发的查询数为800-1000,所以我们想知道我们是否每秒加载1000个查询,那么elasticsearch服务器会响应延迟或它会停止工作吗?

  • 查询全部为query_string,模糊(不使用前缀和通配符查询)。

2 个答案:

答案 0 :(得分:0)

假设您的网络具有必要的吞吐量,需要考虑几个因素:

每个节点的CPU速度和核心数是多少? 至少应该有2GHZ四核。节点也应该专用于ELK,因此他们不忙于其他任务。

你的节点有多少ram? 可能想要至少10GB以北

您的日志是否已过滤并已编入索引? 过滤日志将大大减少查询生成的工作量。此外,过滤后的日志可以使您不必使用通配符(非常昂贵)查询。

希望有助于指出更好的方向:)

答案 1 :(得分:0)

一个直接的建议:如果您期望持续查询率为800 - 1K /秒,那么希望节点存储数据(将处理新记录的索引,合并和碎片重新平衡)还必须处理查询分散/收集操作。考虑一个客户端+数据节点拓扑,您可以在其中保留3个节点并添加n个客户端节点(数据和主设备在其配置中设置为false。)n的实际值将根据您的实际性能而变化。这将是你想要通过实验确定的东西。

其他因素相同或未知,丰富的记忆力是一个很好的资源。查看Elastic team's guidance on hardware并确保链接到堆上的讨论。