执行完全导入250000行时出现Solr错误org.apache.solr.common.SolrException; null:org.eclipse.jetty.io.EofException

时间:2014-01-17 07:54:22

标签: solr jetty

我在windows 7上使用了带有jetty的solr 4.6.0,最大堆数为2G.I可以从Solr管理UI中正确导入200,000条记录,但是一旦我增加到250,000条记录,它就会启动给我这个错误如下:

webapp=/solr path=/dataimport params={optimize=false&clean=false&indent=true&commit=true&verbose=true&entity=files&command=full-import&debug=true&wt=json&rows=250000} {add=[8065121, 8065126, 8065128, 8065146, 8065963, 7838189, 7838186, 8065155, 8065174, 8065179, ... (250001 adds)],commit=} 0 2693420

org.apache.solr.common.SolrException; null:org.eclipse.jetty.io.EofException
at org.eclipse.jetty.http.HttpGenerator.flushBuffer(HttpGenerator.java:914)
at org.eclipse.jetty.http.AbstractGenerator.blockForOutput(AbstractGenerator.java:507)
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:170)
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:107)
at sun.nio.cs.StreamEncoder.writeBytes(Unknown Source)
at su

Caused by: java.net.SocketException: Software caused connection abort: socket write error at java.net.SocketOutputStream.socketWrite0(Native Method)
at j......  
org.apache.solr.common.SolrException;null:org.eclipse.jetty.io.EofException at org.eclipse.jetty.http.HttpGenerator.flushBuffer(HttpGenerator.java:914)
org.eclipse.jetty.servlet.ServletHandler; /solr/dihdb/dataimport
java.lang.IllegalStateException: Committed
at org.eclipse.jetty.server.Response.resetBuffer(Response.java:1144)

我已经为maxIdleTime = 3500000更改了示例/ etc / jetty.xml,如下所示。

我为session-timeout = 720更改了示例/ etc / webdefault.xml。

我仍然一直收到上述错误。

TIA,

维杰

1 个答案:

答案 0 :(得分:0)

我更改了-Xmx5120M,这似乎解决了500K和100万条记录的问题。实质上缺少内存是出现这种误导性错误的问题。

还为DataImportHandler尝试了100000 1800000。