德鲁伊reatime节点和历史节点是否引起热点

Question

Apache Druid的节点包括实时节点（用于接收和搜索实时数据的响应）和历史节点（用于搜索历史数据的响应）。 我的问题是，如果我有很多历史查询，是否会导致历史节点过热而实时节点却无法使用。或者说，如果我有很多实时查询，那么历史节点将是多余的，实时节点将非常繁忙。

Answer 1

Druid中历史节点的CPU利用率取决于三个因素：

• 它们保存的数据量（取决于data retention：例如，您可以保留一年数据的1天或1个月等）
• 历史节点的磁盘空间/内存/ CPU容量的特定配置。
• 查询节点的数量和复杂性。

对于实时节点，情况大致相同：

• 数据摄取强度（每单位时间的数据量）
• 实时节点的内存/ CPU容量（磁盘空间不太重要）
• 查询节点的数量和复杂性。

这意味着您可以通过以下方式控制CPU利用率：

• 更改集群中的数据保留。
• 选择具有不同磁盘/内存容量/ CPU容量比率的历史和实时实例配置。在AWS，GCP和Azure等云环境中，这样做有一定的自由度。
  • 您可以orginize historical "tiers"权衡查询速度和集群成本。
• 如果历史节点仍具有备用CPU资源，则可以实际共享它们。 G。对于批处理的Hadoop或Spark集群，as described in this article。