我使用SolrEntityProcessor从另一个solr导入数据。它工作正常,但速度只有30个文件/秒,重量低于我从SQL Sever导入的重量(7000个文件/秒)。
我想知道我是否遗漏了某些东西以及是否有办法提高速度。
有关我的solr云的信息。我在三个不同的服务器上有3个分片,所有这些分片都在同一个域中。
提前致谢。
答案 0 :(得分:0)
引自SolrEntityProcessor gets slower and slower
SolrEntityProcessor适用于少量数据,但对于如此大的索引无用。问题是搜索结果中的深度分页是昂贵的。作为"开始"查询的值增加,查询的成本也增加。你只需要重新索引数据就好了。
要解决此问题:
处理此问题的常用方法是过滤一个值 每个查询会返回较少的结果,作为creation_date字段,以及每个查询 查询更改此字段范围。对于您可能想要的数据导入用例 使用不同的实体生成data-import.xml,每个实体用于 另一个creation_date范围。因此不需要深度分页。