为什么Solr 5.3.x中的导入过程非常慢？

Question

我使用solr 5.3.1的DataImportHandler导入我导入MySQL的IMDB数据。

然而，处理一个文档需要几秒钟甚至几分钟。我的表包含10M +行，所以这将永远需要。我已实现了所有数据，MySQL只需几分钟即可完成所有行的处理。

可能导致这种糟糕表现的原因是什么？

Answer 1

@yangrui 不幸的是，关于为什么索引速度很慢的问题没有一个单一的答案。 24G是很多堆，但取决于索引的实际大小，它可能或可能不够。

提交策略修改也应该有助于您过于频繁地提交。当“提交”时，SOLR可以很好地为搜索提供文档。 /＆＃39; autocommit＆＃39;发生。但是，当提交确实发生时，它是一个资源匮乏的操作。

另一个不明显的事情是服务器上可用的实际未分配RAM。通过未分配，我的意思是服务器上的额外RAM，除了与JVM关联的RAM作为堆。 我建议您阅读此文档https://wiki.apache.org/solr/SolrPerformanceProblems#RAM 我怀疑你的机器上可能没有足够的RAM。 希望这会有所帮助。