Solr - 多个同时写入时的LockObtainFailedException

时间:2011-05-25 14:07:09

标签: java lucene full-text-search solr

我的应用程序通过REST从多个客户端执行非常频繁的solr写入。我正在使用“commitWithin”属性使用自动提交功能。 LockObtainFailedException在使用几天后开始出现。我很难搞清楚问题所在。任何帮助表示赞赏。我正在使用Solr 3.1和tomcat 6

这是来自solr的错误转储


HTTP Status 500 - Lock obtain timed out:      NativeFSLock@/var/lib/solr/data/index/write.lock

org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: NativeFSLock@/var/lib/solr/data/index/write.lock
at org.apache.lucene.store.Lock.obtain(Lock.java:84)
at org.apache.lucene.index.IndexWriter.<init>(IndexWriter.java:1097)
at org.apache.solr.update.SolrIndexWriter.<init>(SolrIndexWriter.java:83)
at org.apache.solr.update.UpdateHandler.createMainIndexWriter(UpdateHandler.java:102)
at org.apache.solr.update.DirectUpdateHandler2.openWriter(DirectUpdateHandler2.java:174)
at org.apache.solr.update.DirectUpdateHandler2.addDoc(DirectUpdateHandler2.java:222)
at org.apache.solr.update.processor.RunUpdateProcessor.processAdd(RunUpdateProcessorFactory.java:61)
at org.apache.solr.handler.XMLLoader.processUpdate(XMLLoader.java:147)
at org.apache.solr.handler.XMLLoader.load(XMLLoader.java:77)
at org.apache.solr.handler.ContentStreamHandlerBase.handleRequestBody(ContentStreamHandlerBase.java:55)
at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:129)
at org.apache.solr.core.SolrCore.execute(SolrCore.java:1360)
at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:356)
at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:252)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:233)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:191)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:298)
at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:859)
at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:588)
at org.apache.tomcat.util.net.JIoEndpoint$Worker.run(JIoEndpoint.java:489)
at java.lang.Thread.run(Thread.java:662)
</h1><HR size="1" noshade="noshade"><p><b>type</b> Status report</p><p><b>message</b> <u>Lock obtain timed out: NativeFSLock@/var/lib/solr/data/index/write.lock

3 个答案:

答案 0 :(得分:16)

我将solrconfig.xml中的 writeLockTimeout 增加到20秒,现在看起来工作正常。早些时候设定为1秒

答案 1 :(得分:7)

这通常是因为Solr以非标准方式终止,所以它的锁定没有得到清理。在此之前是否有JVM崩溃/ Solr崩溃?

另一个原因是您尝试将多个solr服务器指向同一位置。参见例如this question

答案 2 :(得分:2)

也可能是缺乏记忆。内存不足会导致锁定,我在服务器上看到同样的事情。

来自apache文档: 如果您的Solr实例没有分配足够的内存,Java虚拟机有时会抛出Java OutOfMemoryError。发生这种情况时,不存在数据损坏的危险,Solr将尝试正常恢复。但是,抛出错误时正在进行的任何添加/删除/提交都不太可能成功。可能会产生其他不利影响。例如,如果正在使用SimpleFSLock锁定机制(如Solr 1.2中的情况),则错误的OutOfMemoryError可能会导致Solr失去对索引的锁定。如果发生这种情况,进一步尝试修改索引将导致

SEVERE:提交/优化期间的异常:java.io.IOException:Lock获取超时:SimpleFSLock@/tmp/lucene-5d12dd782520964674beb001c4877b36-write.lock

请参阅http://wiki.apache.org/solr/SolrPerformanceFactors