德鲁伊&GKE-GKE节点升级使德鲁伊历史吊舱可以从GCS存储桶下载整个段

时间:2019-07-08 11:41:50

标签: kubernetes google-cloud-platform google-kubernetes-engine druid stateful

我们为服务设置了状态集(德鲁伊历史记录),该服务在本地SSD上缓存了很多数据(TB)。该服务使用Pod Anti-affinity与节点进行一对一映射。当我们要升级GKE版本时,会将历史Pod迁移到新的节点集(新的GKE节点池),这意味着Pod用空的本地磁盘启动,然后需要一段时间来重新填充其缓存(〜5到6小时)。理想情况下,我们只希望一次有计划地替换节点(例如,GKE节点池升级)一次,然后等待直到新节点上的Pod完全填满其缓存后再推出下一个节点。任何人都可以提出建议,在进行下一个节点升级之前,我们如何确保从深度存储桶中完全下载了数据,或者有什么方法可以避免从S3下载整个数据的情况。

0 个答案:

没有答案