Flink动态缩放1.5

Question

这与Flink 1.5中的动态缩放有关

我正在使用Yarn运行Flink作业。我从静态资源开始这些工作。是否可以选择在特定条件下自行扩展这些作业，例如是否存在内存问题。

In Flink 1.5 release notes-

Applications can be rescaled without manually triggering a savepoint. Under the hood, Flink will still take a savepoint, stop the application, and rescale it to the new parallelism.

这意味着我将必须监视我的作业记忆并必须手动触发重新缩放。这些是解决此问题的任何解决方法吗？

Answer 1

从1.5开始，Flink不支持您想要的。重新缩放作业的过程是：

1. 使用并行性initialParallelism和maxParallelism maxParallelism开始工作。
2. 手动停止它。
3. 使用initialParallelism <= parallelism <= maxParallelism重新运行。

Answer 2

您仍然需要监视您的应用程序，但是通过运行以下命令可以轻松完成重新缩放：

./bin/flink modify -p <NEW-PARALLELISM>