ElasticSearch中的索引在每个块之后减慢

时间:2017-04-12 11:47:13

标签: performance elasticsearch

主动尝试通过批量导出(300块文档的块大小)索引大量文档(65000作为记录)。以下是以下结果:

块1:15s(15秒)

块2:25s(10秒)

大块3:34s(9秒)

块4:1m03(29秒)

块5:1m42(39秒)

块6:2m30(48秒)

块7:3m45(75秒)

第8块:4分44秒(59秒)

块9:6m02(78秒)

块10:7m33(91秒)

块11:9m17(104秒)

块12:11m09(112秒)

块13:13m19(130秒)

块~33:109m

开始速度约为每分钟1200个文档,但持续下降。 这个批次的估计时间大约是60个小时..这太过分了,我猜我身边有些不对劲。我试图去除自动刷新,但似乎Elastic在插入之前不断验证,因为每个块需要花费越来越多的时间..

一些细节:

具有6GB RAM的弹性VM CPU以100%运行 使用~95%的RAM 一个文档由三个嵌套的bean组成,总共有31个字段

感谢您将来的帮助,我迫切需要它。

编辑:节点统计信息 - >

https://jsonblob.com/f9c2703c-1f7a-11e7-a0ba-a71eee191178

0 个答案:

没有答案