在使用批量处理器＆＃39;内存中进行索引时，Elasticsearch会丢失数据。

Question

我生成4百万个文档并使用批量处理器保存它们。当我将index.store.type设置为内存时，我得到了一些奇怪的NPE，它会经历，但最后，有2亿个文档被索引。我试图每批插入800个文档（非常小的，几个kbs），3个线程，1gb堆。使用index.store.type设置为simplefs的相同代码，插入带有4个线程的3k docs / batch都是顺利的（当然，更大的设置也不适用于'memory'），最终结果是4mil索引文档如预期的那样。我应该设置任何其他设置以使其与“内存”设置一起使用吗？我有1个节点，5个分片，1个副本。

Answer 1

如果您只在一个节点的内存中存储，是否需要副本？ 最终可能会在同一台服务器上安装2份副本。

我建议您添加额外的节点以扩展负载并使用您正在使用的5个分片，否则分片毫无意义，但您以后无法真正添加它们。

5KB * 400万是20GB。你没有说明你有多少内存，因此很难说在所有额外的索引数据被添加到最顶层后，你的所有文档是否都适合内存。