我刚开始索引pdf / word文档,其中一些文件可能会变得相当大。更糟糕的是,我在索引分析器中使用了n-gram。我有8GB的RAM专用于ElasticSearch但我们的索引目前大约45GB(只有大约6GB没有文件)这导致我的问题......
在我们向索引添加文档之后,重新编制索引的所有内容开始花费的时间要长得多,这是预期的,但它也开始随机失败并出现一般性超时错误。我将问题追溯到我们的http客户端(HTTParty ruby gem),其默认超时为10秒。我将它增加到480s并且reindex获得更多文档但最终仍然超时。
我的问题是,