Solr SimplePostTool:读取响应时的IOException:java.net.SocketException:来自服务器的文件意外结束

时间:2016-07-14 19:40:03

标签: java solr solrj apache-tika

我尝试使用Solr 6.1.0的simpleposttool(bin / post)索引大型文件存储库(太阳下每种格式的10,000多个文档)。它会运行很长一段时间没有任何问题然后崩溃以下:

POSTing file ThingsGoingWellUpToHere.pdf (application/pdf) to [base]/extract
POSTing file EXAMPLE1.pdf (application/pdf) to [base]/extract
SimplePostTool: WARNING: IOException while reading response: java.net.SocketException: Unexpected end of file from server
POSTing file EXAMPLE2.pptx (application/vnd.openxmlformats-officedocument.presentationml.presentation) to [base]/extract
SimplePostTool: FATAL: Connection error (is Solr running at http://localhost:8983/solr/sample/update ?): java.net.ConnectException: Connection refused

此时Solr也下降了:

$ solr status
Found 1 Solr nodes:
Solr process 26499 from /opt/solr-6.1.0/bin/solr-8983.pid not found.

每当发生这种情况时,我最终都要solr restart。其他人遇到类似的问题?

快速注意,如果我不得不疯狂地猜测它与损坏的文件有关。我正在使用的集合大约是25Gb,在不稳定的连接上经历了两层SCP。如果情况确实如此,我将自己关闭它。

编辑:尝试发布SimplePostTool失败的单个文档并且它们已经完成,因此它不太可能成为腐败问题。搜索继续......

1 个答案:

答案 0 :(得分:1)

这完全是一个记忆问题。如果您看到此错误,请假设您没有为Solr实例分配足够的内存。使用-Xmx时,只需使用solr start标记即可。{/ p>