我正在使用Amazon EMR在YARN上运行Flink Cluster。我的设置包括用于1个主节点和2个核心节点的m4.large实例。我已经使用命令flink-yarn-session -n 2 -d -tm 4096 -s 4
在YARN上启动了Flink CLuster。
Flink作业管理器和应用程序管理器启动,但是没有任务管理器在运行。 Flink Web界面显示任务管理器,任务插槽和可用插槽为0。但是,当我将作业提交给flink集群时,任务管理器将得到分配,并且作业将运行,并且Web UI将按预期显示正确的值,并在作业完成后返回0。
我希望即使没有提交作业也可以运行任务管理器,因为我想使用Flink的REST API根据可用的插槽值监视和修改并行性。
是否缺少我要阻止任务管理器一直运行的配置?
答案 0 :(得分:2)
在FLIP-6中更改了Flink的行为,以允许动态分配资源。从Flink 1.5.0版开始,可以将mode: legacy
放在flink-conf.yaml中,以在旧模式下运行Flink,在旧模式下,任务管理器将与作业管理器一起启动。