配置插入和查询之间的索引行为

时间:2018-10-14 08:14:58

标签: python node.js elasticsearch

我们正在努力如何在勇敢地应对的三个阶段之间配置索引行为(节点数,分片数,合并段,排序索引,大小限制以及任何其他可能对我们有帮助的参数:wink :):

我们的应用程序包含3个主要阶段,可用于弹性用途:

  1. 初始大量插入:

    • 25亿个文档/ 10天(3000个文档/秒)
    • 文档具有亲子关系(平均每个孩子1.4个孩子 父)
    • 子级包含嵌套字段,范围从1到1M不等 每个嵌套字段(例如嵌套文档)的短文本值
    • 平均文档大小(包括嵌套字段中的嵌套文档)为 1kb
  2. 大规模更新:

    • 15%的文档(子级)被更新(通过插入嵌套 栏位值-例如一些更多的嵌套文档,但又小又 同类的)

    • 这些更新基于几个(有限的)聚合查询

  3. 用户免费查询:

    • 用户请求的每个查询产生约15个附加聚合 查询结果(这很糟糕,我们知道)

第1-3步每x天发生一次(永远不要在第2步完成之前开始),尽管预期数据要小得多(最大为初始文档数的10%-例如最大250M)

有人处理过类似的要求吗?或遇到某人的良好推荐?

谢谢

0 个答案:

没有答案