如何扩大/缩小正在运行的Flink集群?

时间:2019-11-10 17:49:27

标签: apache-flink

我现在正在Kubernetes上运行Flink。我假设如果更新TaskManager部署的副本,Kubernetes会为我增加/减少TM吊舱的数量,但是我不确定这是否就是我要做的全部。我是否需要做其他事情以使工作适应更多/更少的TM?

1 个答案:

答案 0 :(得分:1)

不,就其本身而言,开源Apache Flink尚无法对TM pod数量的这些变化做出反应。

针对Flink将来如何在K8s环境中进行自动缩放,设想了两种方案。一种称为“活动模式”,Flink在其中知道所需的资源,并与K8配合使用以相应地获取/释放资源。它正在积极开发为FLINK-9953。您所描述的是另一种称为“反应模式”的方案:Flink进行扩展以使用任何可用的资源。观看FLINK-10407,了解该功能的进展情况。

当前,Kubernetes上的Flink部署实际上是独立部署的容器化版本。我相信你需要

  1. 在执行保存点的同时停止工作
  2. 从保存点恢复作业,并已安排好新群集的大小

在基于docker-compose的部署中如何进行重新缩放的Flink Operations Playground has a step-by-step example在概念上非常相似。