Elasticsearch:一次索引2GB的文档

时间:2016-02-05 17:49:11

标签: elasticsearch

我使用mapper-attachments-plugin来索引和分析我的elasticsearch索引中的PDF(1个节点,5个分片)。一切正常但我的问题是从mysql数据库中的blob表初始导入1.800 PDF(约2GB)。

我使用本机java客户端(传输模式),从我的数据库中获取文档,将它们编码为base64并将它们发送到elasticsearch。 在大约300个文档之后我遇到OutOfMemory错误。当我为我的导入应用程序提供更多内存时,不久之后就会阻止elasticsearch主节点。

有更好的方法导入文件吗?也许是一个"批量索引客户"还是这样?

0 个答案:

没有答案