我正在使用在EC2 T2.Medium实例上运行的Logstash的S3输入插件将S3中的JSON文件索引到Elastic中。这很好，但速度非常慢。我正在寻找一些关于更快的方法的建议，因为我意识到多线程与S3中的多个Logstash实例不是一个选项。
我的源数据实际上是在谷歌大查询表中，所以如果有一种方法我可以从那里索引那将是伟大的，但我找不到插件或明显的方法这样做。我一直在探索将BigQuery数据首先推送到Redis的想法，但是我想要索引的数据量我担心这会增加额外的开销，技术和成本也是可以避免的。
My Elastic集群非常简单，单节点/单个分片。我在一个多节点集群上运行了一个测试，看看是否有任何索引速度增加并保持不变。我正在使用Elastic的托管云服务，以前是Found，所以我不确定这是否与此有关。
目前我很乐意每天为大约500万行编制索引，尽管速度很慢。我的目标是能够在尽可能快的时间内每天大约100M的索引。在目前的EPS，它需要几天！
任何一般性指针都会非常感激。