如何从Flink应用程序部署的会话模式切换到作业模式?

时间:2019-09-06 10:35:19

标签: config apache-flink

是否有一本菜谱,其中准确描述了应在哪个配置文件中进行哪些更改(job-manager-config / flink-conf.yaml,task-manager-config / flink-conf.yaml,job-manager-config /zoo.cfg,...)以便将Flink应用程序部署从会话模式更改为作业模式?

此外,我们通过依赖于我们的ansible角色在openshift上建立了flink集群设置,但是不幸的是,它不是从ansible星系存储库中获取的,因此我无法引用您参考任何已发布的设置。可能大多数配置更改都必须在上述配置flink文件之外进行。

我不了解的是,如何控制提交新作业自动为每个作业生成一对新的作业管理器和一个任务管理器(1 + 1)实例,而不是仅使用一个中的可用任务槽工作经理和预定数量的任务经理?当前,我们有一个工作经理和两个任务经理,每个经理都有10个任务槽(taskmanager-config / flink-conf.yaml中的taskmanager.numberOfTaskSlots:10行),总共20个任务槽。

1 个答案:

答案 0 :(得分:1)

是的,您的问题确实超出了Flink附带的范围。手动设置会话集群很容易,但是如果您想为每个作业创建一个新的集群,则需要一些自动化。

有多种解决方案可用于管理Flink。您可能想调查类似Ververica Platformflinkk8soperator之类的东西是否可以满足您的需求。