ElasticSearch-使用多个过程来索引/添加文档以加快索引速度

时间:2018-10-11 23:43:06

标签: elasticsearch indexing

我有一个具有100 GB巨大容量的ElasticSearch索引。现在索引/将文档添加到该索引很慢。

我搜索了解决方案。有人建议一种方法是使用多个过程来索引/添加文档。

但是在这种用例中,我认为瓶颈是在ElasticSearch服务器端,多个进程会给ElasticSearch增加额外的负载。

我发现索引编制速度没有太大改善。相反,我看到这些进程报告了诸如“ elasticsearch连接错误”之类的错误,并且这些进程被终止了。

但是,如果我只有一个运行索引/添加文档的过程,那么我看到的ElasticSearch错误要少得多。

当索引大小小时。我确实使用了多个过程来添加/索引文档,并且效果很好。

但是当索引很大时,索引变慢了很多,现在我真的需要一种加快索引速度的方法。但是,当更需要加速索引编制时,似乎在此用例中无法使用多个进程。

我正确吗?无论如何,还是可以做一些额外的调整,以便在这种情况下我仍然可以使用多个索引/添加文档过程来加快索引编制?

谢谢!

0 个答案:

没有答案