减少索引时间ElasticSearch - RabbitMQ设置

时间:2014-07-29 04:01:22

标签: elasticsearch rabbitmq

我从RabbitMQ消耗了数百万条消息(每条消息有10个字段)并将其推送到ElasticSearch。到目前为止摄入需要13-14个小时。我该怎么做才能优化流程?以下是我迄今为止尝试过的一些方法:

  • 创建与RabbitMQ服务器的多个并行连接。我有8个 连接到RabbitMQ服务器并预先获取500条消息 每个频道。
  • 为ElasticSearch使用批量索引API。我正在批处理邮件 每个连接和批量索引500个文档一次性。
  • 为ElasticSearch创建了显式映射文件,禁用了_all 字段。

我仍然没有看到良好的吞吐量(100消息/秒)。我可以做些什么来减少索引持续时间并将吞吐量提高到更高的数量?

感谢。

0 个答案:

没有答案