Elastisearch批量大小限制

Question

我有200个文件，每个文件各1 MB。对于总共200MB，所以想要使用批量处理一次批量索引所有这些。

通过线路发送200MB是否太大而无法处理弹性搜索？

Answer 1

通过线路发送200MB的数据需要很长时间，并且会使连接超时。你最好写一些索引1个文档的东西，可能有5个并发线程。批量插入这么多数据并不会给你带来任何好处。

更一般地说，1MB的数据是~500页的文本。我认为这是太多的数据要放入ES中的单个记录！我认为除非你有很大的马力，否则你会对表现感到失望，但这会非常昂贵。我建议考虑制作更小的文件。