Solr分片分布数据不均匀分布

时间:2017-07-31 06:38:37

标签: solr sharding distributed-system

我正在尝试使用8个分片构建Solr分片。我用年份作为分布索引尝试了复合键 我在运行多个配置后发现的问题,它给我带来了非常不均匀的分布。 我的分片键是将两个分片上的一年数据分开 但是,当我从2001年到2017年创建数据时,一些碎片正在使用6年的数据,而有些碎片只需要一年的数据 我在这里添加了当前的分布。我经常多次运行,但每次都有类似的分配。
在插入文件时,我会在特定年份插入一次记录,就像2016年的所有数据都被摄取了2016年 任何人都可以帮助我这是如何工作的。因为每个分片具有16 GB的内存,并且在此分发中,两个分片已经具有超过17 GB的数据。

enter image description here

1 个答案:

答案 0 :(得分:0)

它的工作时间缩短了。我们做了四分之一。