我正在通过Spark（超过120,000,000个文档）批量导入Solr 6.1，仅在一台机器上使用一个核心。它始于：
SOLR_JAVA_MEM="-Xms128g -Xmx180g"
因此JVM的起始内存为128 Gb，直到180 Gb。
在solrconfig.xml文件中，我更改了此内容：
<!-- removed update logs
<updateLog>
<str name="dir">${solr.ulog.dir:}</str>
<int name="numVersionBuckets">${solr.ulog.numVersionBuckets:65536}</int>
</updateLog>
-->
<autoCommit>
<maxDocs>${solr.autoCommit.maxDocs:1000000}</maxDocs>
<openSearcher>false</openSearcher>
</autoCommit>
<autoSoftCommit>
<maxTime>${solr.autoSoftCommit.maxTime:-1}</maxTime>
</autoSoftCommit>
然而索尔看起来却在默默地死去。我搜索过＆＃34;错误/异常＆＃34;在日志中但没有。
但是我在日志中发现了一条奇怪的行：
/opt/solr/server/logs/solr_log_20161108_2145:2016-11-08 18:17:59.609 INFO (commitScheduler-14-thread-1) [ x:mydata] o.a.s.u.DirectUpdateHandler2 start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=true,prepareCommit=false}
我不明白为什么软提交和开放搜索者是真实的＆＃34;。
如何修复它或者至少找出导致它崩溃的原因？
更新
当我从CSV文件提交10行时，这是一个日志：
2016-11-09 08:46:10.263 INFO (qtp1435804085-140) [ x:mydata] o.a.s.u.p.LogUpdateProcessorFactory [mydata] webapp=/solr path=/update/csv params={}{add=[0c0e883e-89e0-4051-97a2-a244af3fe323, bc78d0f3-5bbe-4467-b51d-34218e28afd0, 24feaecf-d0bf-4fb3-82ff-52d6d3d6359f, ec281476-0e84-4c20-a90d-f5394045a0c9, 54768e68-2514-4662-ad2f-237cc88b4e71, fece234d-470e-4cf8-9103-744eedc00074, b2db067c-5b8e-4b48-b2dd-3f8192d8023b, 0a3a5829-e513-4de8-8b43-662a44af34c5, 9c38bcc0-2377-42e3-8835-93c999e995f8, fcd235c1-d11f-4fca-ae64-0052c0c6b347]} 0 43
2016-11-09 08:46:13.874 INFO (qtp1435804085-140) [ x:mydata] o.a.s.u.DirectUpdateHandler2 start commit{,optimize=false,openSearcher=true,waitSearcher=true,expungeDeletes=false,softCommit=false,prepareCommit=false}
2016-11-09 08:46:14.042 INFO (qtp1435804085-140) [ x:mydata] o.a.s.c.SolrDeletionPolicy SolrDeletionPolicy.onCommit: commits: num=2
commit{dir=NRTCachingDirectory(MMapDirectory@/data/solr/cores/mydata/index lockFactory=org.apache.lucene.store.NativeFSLockFactory@4be8e307; maxCacheMB=48.0 maxMergeSizeMB=4.0),segFN=segments_42m,generation=5278}
commit{dir=NRTCachingDirectory(MMapDirectory@/data/solr/cores/mydata/index lockFactory=org.apache.lucene.store.NativeFSLockFactory@4be8e307; maxCacheMB=48.0 maxMergeSizeMB=4.0),segFN=segments_42n,generation=5279}
2016-11-09 08:46:14.042 INFO (qtp1435804085-140) [ x:mydata] o.a.s.c.SolrDeletionPolicy newest commit generation = 5279
2016-11-09 08:46:14.045 INFO (qtp1435804085-140) [ x:mydata] o.a.s.s.SolrIndexSearcher Opening [Searcher@759dc815[mydata] main]
2016-11-09 08:46:14.046 INFO (qtp1435804085-140) [ x:mydata] o.a.s.u.DirectUpdateHandler2 end_commit_flush
2016-11-09 08:46:14.047 INFO (searcherExecutor-21-thread-1-processing-x:mydata) [ x:mydata] o.a.s.c.QuerySenderListener QuerySenderListener sending requests to Searcher@759dc815[mydata] main{ExitableDirectoryReader(UninvertingDirectoryReader(Uninverting(_5jti3(6.1.0):C7038890) Uninverting(_5k0wd(6.1.0):C8257243) Uninverting(_5k82u(6.1.0):c1884381) Uninverting(_5kds9(6.1.0):c3063817) Uninverting(_5k5c1(6.1.0):c1376845) Uninverting(_5ki6j(6.1.0):C7977387) Uninverting(_5km5t(6.1.0):c1389379) Uninverting(_5kuvw(6.1.0):C7774961) Uninverting(_5ltts(6.1.0):C8363860) Uninverting(_5l7al(6.1.0):C8202044) Uninverting(_5lmbm(6.1.0):C7559846) Uninverting(_5l80g(6.1.0):c219576) Uninverting(_5lw9d(6.1.0):c1776541) Uninverting(_5m675(6.1.0):c6563395) Uninverting(_5lf6c(6.1.0):c523032) Uninverting(_5lmhy(6.1.0):c336604) Uninverting(_5m1tp(6.1.0):c1218207) Uninverting(_5mdko(6.1.0):c1848209) Uninverting(_5m98t(6.1.0):c1054658) Uninverting(_5m61y(6.1.0):c552591) Uninverting(_5m7v4(6.1.0):c947312) Uninverting(_5m92r(6.1.0):c471612) Uninverting(_5macc(6.1.0):c644159) Uninverting(_5mbo6(6.1.0):c909037) Uninverting(_5mdem(6.1.0):c511430) Uninverting(_5mfyj(6.1.0):c1041738) Uninverting(_5mefp(6.1.0):c373980) Uninverting(_5mefh(6.1.0):c137376) Uninverting(_5mgnt(6.1.0):c437679) Uninverting(_5mga7(6.1.0):c163097) Uninverting(_5mhqn(6.1.0):c907489) Uninverting(_5mhyz(6.1.0):c184742) Uninverting(_5mjnk(6.1.0):c393719) Uninverting(_5mirb(6.1.0):c310351) Uninverting(_5mjhh(6.1.0):c1109235) Uninverting(_5ml6g(6.1.0):c171704) Uninverting(_5mkkr(6.1.0):c925799) Uninverting(_5mloo(6.1.0):c308985) Uninverting(_5mmkw(6.1.0):c855873) Uninverting(_5mloe(6.1.0):c16005) Uninverting(_5mmkt(6.1.0):c21430) Uninverting(_5mlow(6.1.0):c22566) Uninverting(_5mmus(6.1.0):c49455) Uninverting(_5mlov(6.1.0):c18885) Uninverting(_5mmuy(6.1.0):c69606) Uninverting(_5mlo5(6.1.0):C16421) Uninverting(_5mmuu(6.1.0):c68416) Uninverting(_5mmkq(6.1.0):c10353) Uninverting(_5mmkr(6.1.0):c11267) Uninverting(_5mmks(6.1.0):c11998) Uninverting(_5mmod(6.1.0):c12312) Uninverting(_5mmof(6.1.0):c22240) Uninverting(_5mmoe(6.1.0):c16571) Uninverting(_5mmut(6.1.0):c39317) Uninverting(_5mmuv(6.1.0):c30787) Uninverting(_5mmnm(6.1.0):c4373) Uninverting(_5mmuq(6.1.0):c3817) Uninverting(_5mmur(6.1.0):c8112) Uninverting(_5mml7(6.1.0):C928) Uninverting(_5mmla(6.1.0):C1008) Uninverting(_5mmkx(6.1.0):C953) Uninverting(_5mmol(6.1.0):C965) Uninverting(_5mml6(6.1.0):C926) Uninverting(_5mmuz(6.1.0):C10) Uninverting(_5mmv0(6.1.0):C10)))}
2016-11-09 08:46:14.047 INFO (searcherExecutor-21-thread-1-processing-x:mydata) [ x:mydata] o.a.s.c.QuerySenderListener QuerySenderListener done.
2016-11-09 08:46:14.047 INFO (searcherExecutor-21-thread-1-processing-x:mydata) [ x:mydata] o.a.s.h.c.SuggestComponent buildOnCommit: locationd
2016-11-09 08:46:14.047 INFO (searcherExecutor-21-thread-1-processing-x:mydata) [ x:mydata] o.a.s.s.s.SolrSuggester SolrSuggester.build(locationd)
2016-11-09 08:46:15.533 INFO (searcherExecutor-21-thread-1-processing-x:mydata) [ x:mydata] o.a.s.c.SolrCore [mydata] Registered new searcher Searcher@759dc815[mydata] main{ExitableDirectoryReader(UninvertingDirectoryReader(Uninverting(_5jti3(6.1.0):C7038890) Uninverting(_5k0wd(6.1.0):C8257243) Uninverting(_5k82u(6.1.0):c1884381) Uninverting(_5kds9(6.1.0):c3063817) Uninverting(_5k5c1(6.1.0):c1376845) Uninverting(_5ki6j(6.1.0):C7977387) Uninverting(_5km5t(6.1.0):c1389379) Uninverting(_5kuvw(6.1.0):C7774961) Uninverting(_5ltts(6.1.0):C8363860) Uninverting(_5l7al(6.1.0):C8202044) Uninverting(_5lmbm(6.1.0):C7559846) Uninverting(_5l80g(6.1.0):c219576) Uninverting(_5lw9d(6.1.0):c1776541) Uninverting(_5m675(6.1.0):c6563395) Uninverting(_5lf6c(6.1.0):c523032) Uninverting(_5lmhy(6.1.0):c336604) Uninverting(_5m1tp(6.1.0):c1218207) Uninverting(_5mdko(6.1.0):c1848209) Uninverting(_5m98t(6.1.0):c1054658) Uninverting(_5m61y(6.1.0):c552591) Uninverting(_5m7v4(6.1.0):c947312) Uninverting(_5m92r(6.1.0):c471612) Uninverting(_5macc(6.1.0):c644159) Uninverting(_5mbo6(6.1.0):c909037) Uninverting(_5mdem(6.1.0):c511430) Uninverting(_5mfyj(6.1.0):c1041738) Uninverting(_5mefp(6.1.0):c373980) Uninverting(_5mefh(6.1.0):c137376) Uninverting(_5mgnt(6.1.0):c437679) Uninverting(_5mga7(6.1.0):c163097) Uninverting(_5mhqn(6.1.0):c907489) Uninverting(_5mhyz(6.1.0):c184742) Uninverting(_5mjnk(6.1.0):c393719) Uninverting(_5mirb(6.1.0):c310351) Uninverting(_5mjhh(6.1.0):c1109235) Uninverting(_5ml6g(6.1.0):c171704) Uninverting(_5mkkr(6.1.0):c925799) Uninverting(_5mloo(6.1.0):c308985) Uninverting(_5mmkw(6.1.0):c855873) Uninverting(_5mloe(6.1.0):c16005) Uninverting(_5mmkt(6.1.0):c21430) Uninverting(_5mlow(6.1.0):c22566) Uninverting(_5mmus(6.1.0):c49455) Uninverting(_5mlov(6.1.0):c18885) Uninverting(_5mmuy(6.1.0):c69606) Uninverting(_5mlo5(6.1.0):C16421) Uninverting(_5mmuu(6.1.0):c68416) Uninverting(_5mmkq(6.1.0):c10353) Uninverting(_5mmkr(6.1.0):c11267) Uninverting(_5mmks(6.1.0):c11998) Uninverting(_5mmod(6.1.0):c12312) Uninverting(_5mmof(6.1.0):c22240) Uninverting(_5mmoe(6.1.0):c16571) Uninverting(_5mmut(6.1.0):c39317) Uninverting(_5mmuv(6.1.0):c30787) Uninverting(_5mmnm(6.1.0):c4373) Uninverting(_5mmuq(6.1.0):c3817) Uninverting(_5mmur(6.1.0):c8112) Uninverting(_5mml7(6.1.0):C928) Uninverting(_5mmla(6.1.0):C1008) Uninverting(_5mmkx(6.1.0):C953) Uninverting(_5mmol(6.1.0):C965) Uninverting(_5mml6(6.1.0):C926) Uninverting(_5mmuz(6.1.0):C10) Uninverting(_5mmv0(6.1.0):C10)))}
2016-11-09 08:46:15.534 INFO (qtp1435804085-140) [ x:mydata] o.a.s.u.p.LogUpdateProcessorFactory [mydata] webapp=/solr path=/update params={commit=true}{commit=} 0 1660