我们有4个作业正在3个节点上运行,每个节点有4个插槽,
在Flink 1.3.2上,作业按节点平均分配。 升级到flink 1.5之后,每个作业都在一个节点上运行(如果没有插槽,则转移到另一个节点上)
有没有办法恢复平均分配? 作业负载不均,导致某些节点比其他节点更努力地工作。
答案 0 :(得分:1)
我从flink邮件列表中收到的答案 Re: Flink 1.5 job distribution over cluster nodes
Shachar嗨,
使用Flink 1.5,我们增加了资源弹性。这意味着Flink是 现在可以在集群管理框架上分配新容器 例如Yarn或Mesos。由于这些更改(这也适用于 独立模式),Flink不再需要一组固定的 TaskManagers,因为如果需要,它将启动新的容器(不会 在独立模式下工作)。因此,系统很难 对扩展属于单个作业的插槽做出任何决定 跨多个TM。当您考虑 像您这样的工作可能会受益于这种策略,而 其他用户则可以从其插槽的共同位置中受益。它变得更多 如果要对多个作业进行调度,则很复杂 该系统不完全了解,因为它们是 按顺序提交。因此,Flink当前假定该插槽 任何TaskManager都可以满足请求。
干杯,直到