在群集节点上进行Flink作业分配

时间:2018-07-15 05:14:57

标签: apache-flink flink-streaming

我们有4个作业正在3个节点上运行,每个节点有4个插槽,

在Flink 1.3.2上,作业按节点平均分配。 升级到flink 1.5之后,每个作业都在一个节点上运行(如果没有插槽,则转移到另一个节点上)

有没有办法恢复平均分配? 作业负载不均,导致某些节点比其他节点更努力地工作。

1 个答案:

答案 0 :(得分:1)

我从flink邮件列表中收到的答案 Re: Flink 1.5 job distribution over cluster nodes

  

Shachar嗨,

     

使用Flink 1.5,我们增加了资源弹性。这意味着Flink是   现在可以在集群管理框架上分配新容器   例如Yarn或Mesos。由于这些更改(这也适用于   独立模式),Flink不再需要一组固定的   TaskManagers,因为如果需要,它将启动新的容器(不会   在独立模式下工作)。因此,系统很难   对扩展属于单个作业的插槽做出任何决定   跨多个TM。当您考虑   像您这样的工作可能会受益于这种策略,而   其他用户则可以从其插槽的共同位置中受益。它变得更多   如果要对多个作业进行调度,则很复杂   该系统不完全了解,因为它们是   按顺序提交。因此,Flink当前假定该插槽   任何TaskManager都可以满足请求。

     

干杯,直到