我使用mapper-attachments-plugin来索引和分析我的elasticsearch索引中的PDF(1个节点,5个分片)。一切正常但我的问题是从mysql数据库中的blob表初始导入1.800 PDF(约2GB)。
我使用本机java客户端(传输模式),从我的数据库中获取文档,将它们编码为base64并将它们发送到elasticsearch。 在大约300个文档之后我遇到OutOfMemory错误。当我为我的导入应用程序提供更多内存时,不久之后就会阻止elasticsearch主节点。
有更好的方法导入文件吗?也许是一个"批量索引客户"还是这样?