AWS elasticsearch丢失了文档

时间:2017-06-28 15:49:13

标签: amazon-web-services elasticsearch jest

我有一个只有一个节点的AWS Elasticsearch实例。插入一些记录并从AWS-ES返回CONFIRMATION后,文档就会丢失。我知道由于分片刷新会有延迟,但事实并非如此,因为我们在插入记录后检查了两三天。如果它有所作为,我使用Jest作为HTTP客户端。

插入记录后,我得到一个响应,如{“_ index”:“XXXXXXXXX”,“_ type”:“document”,“_ id”:“354d7537-3062-4d0c-ba31-26a7ba686919”,“_ version”: 1, “结果”: “创建”, “_碎片”:{ “总”:2, “成功”:1, “失败”:0}, “创建”:真}

当我尝试使用_id再次搜索时,它不在那里。 { “_index”: “XXXXXXXXXX”, “_类型”: “文件”, “_ ID”: “354d7537-3062-4d0c-ba31-26a7ba686919”, “发现”:假}

1 个答案:

答案 0 :(得分:0)

经过一番研究后,我得出的结论是,AWS-Elasticsearch端发生了中断,重启,电源故障或导致内存被擦除的其他故障。插入到Elasticsearch的记录会在永久保存到磁盘之前保留在内存中一段时间​​。如果在此期间弹性搜索发生中断,则内存中的记录会丢失。这里令人惊讶的部分是AWS-Elasticsearch如何被中断。根据我们的记录,我们在这段时间内没有对实例做过任何事情。此外,丢失的记录都是相互插入的,这加强了中断假设。