在弹性搜索中同时索引多个索引

Question

我正在使用logstash进行ETL目的，并且在弹性搜索中有3个索引。我可以通过3个不同的logtash进程同时将文档插入到我的3个索引中以改进并行化，或者我应该将文档插入到1个索引中时间。

我的弹性搜索群集配置如下所示： 3个数据节点 1个客户端节点

3个数据节点 - 64 GB RAM，SSD磁盘 1个客户端节点 - 8 GB RAM

碎片 - 20碎片 副本 - 1 感谢

Answer 1

一如既往地取决于此。 Elasticsearch的分发概念基于分片。由于索引的分片位于不同的节点上，因此您将自动分散负载。

但是，如果Logstash是您的瓶颈，您可能会通过运行多个进程获得性能。虽然如果在一台机器上运行多个LS进程会产生积极的影响是值得怀疑的。

简短回答：并行化3个索引并没有多大意义，但如果Logstash是你的瓶颈，那么并行运行（在不同的机器上）可能是有意义的。

PS：最大的性能提升通常是将请求一起批处理，但Logstash会这样做by default。