所有数据都突然从Elasticsearch集群中删除

时间:2015-09-10 05:51:12

标签: elasticsearch

我们的Elasticsearch集群包含8个节点(1个主节点和7个数据)。

它有6个索引,平均每天索引250万个文档。群集配置为每个索引有7个分片,每个分片有1个副本。

突然,群集没有响应任何查询。检查群集运行状况,大约有27个待处理任务,并且数量逐渐增加。

由于ES没有经验,sys管理员建议在主节点上重启服务。

这个动作导致了一些非常奇怪的事情。

群集中的所有数据突然被删除。我们没有在任何索引中找到任何数据。我们唯一可以想到的是,在重新启动主节点后,碎片会被破坏,但这不容易发生或发现。

检查主节点的日志,我们发现很多关于创建分片失败的警告

  

[2015-09-09 09:00:19,579] [WARN] [cluster.action.shard]   [elastic-node01.css.org] [isis] [6]收到的分片失败了   [isis] [6],节点[R2rPmGpcTsKGO0q9UPuvIQ],[P],s [INITIALIZING],   indexUUID [4kSRZcYeRFK8pgknhmd-Fg],原因[shard failure [failed]   创建分片] [IndexShardCreationException [[isis] [6]无法创建   碎片]。嵌套:LockObtainFailedException [无法锁定分片[isis] [6],   5000ms后超时]; ]

问题1:是否有任何情况(如我们的)可能导致群集中的数据被删除,就像我们发生的一样?

问题2:我们有8台机器的日志,我们应该在这个问题上寻找什么?

0 个答案:

没有答案