从另一个solr导入数据的速度非常慢

时间:2013-10-14 15:58:15

标签: performance solr

我使用SolrEntityProcessor从另一个solr导入数据。它工作正常,但速度只有30个文件/秒,重量低于我从SQL Sever导入的重量(7000个文件/秒)。

我想知道我是否遗漏了某些东西以及是否有办法提高速度。

有关我的solr云的信息。我在三个不同的服务器上有3个分片,所有这些分片都在同一个域中。

提前致谢。

1 个答案:

答案 0 :(得分:0)

引自SolrEntityProcessor gets slower and slower

  

SolrEntityProcessor适用于少量数据,但对于如此大的索引无用。问题是搜索结果中的深度分页是昂贵的。作为"开始"查询的值增加,查询的成本也增加。你只需要重新索引数据就好了。

要解决此问题:

  

处理此问题的常用方法是过滤一个值   每个查询会返回较少的结果,作为creation_date字段,以及每个查询   查询更改此字段范围。对于您可能想要的数据导入用例   使用不同的实体生成data-import.xml,每个实体用于   另一个creation_date范围。因此不需要深度分页。