flink可以运行多个相同的作业来实现伪动态缩放吗？

Question

我们正在研究如何对flink任务进行动态缩放。该任务将要阅读kafka主题中的流并做...然后沉入另一个kafka主题中。我们知道，必须先停止flink作业才能修改并行度，这不是我们想要的。

由于我们不能在不停止flink作业的情况下向任务动态添加资源，因此我们可以复制flink作业（通过kafka主题通过相同的groupid进行消耗）以提高性能吗？此外，是否可以使用yarn或kubernetes来管理这些作业，并为flink任务（使用kafka）实现伪动态缩放？

Answer 1

您是否有理由不想通过停止作业来修改并行性？

您可以执行此操作，但是您可以有效地将数据拆分到各个作业中。因此，您不仅要承担现在需要了解多个作业的吞吐量以进行有效自动缩放的费用，而且还要这样做，以使得完成的任何有状态处理都将导致错误/不一致的结果。