我生成4百万个文档并使用批量处理器保存它们。当我将index.store.type设置为内存时,我得到了一些奇怪的NPE,它会经历,但最后,有2亿个文档被索引。我试图每批插入800个文档(非常小的,几个kbs),3个线程,1gb堆。使用index.store.type设置为simplefs的相同代码,插入带有4个线程的3k docs / batch都是顺利的(当然,更大的设置也不适用于'memory'),最终结果是4mil索引文档如预期的那样。我应该设置任何其他设置以使其与“内存”设置一起使用吗?我有1个节点,5个分片,1个副本。
答案 0 :(得分:1)
如果您只在一个节点的内存中存储,是否需要副本? 最终可能会在同一台服务器上安装2份副本。
我建议您添加额外的节点以扩展负载并使用您正在使用的5个分片,否则分片毫无意义,但您以后无法真正添加它们。
5KB * 400万是20GB。你没有说明你有多少内存,因此很难说在所有额外的索引数据被添加到最顶层后,你的所有文档是否都适合内存。