flink - 群集不使用群集

时间:2015-11-22 13:35:39

标签: java apache-kafka apache-flink flink-streaming

我已经设置了一个3节点集群,它可以非常均匀地分配任务(步骤?作业?),直到最近一次分配给一台机器。

拓扑(我们仍然将此术语用于flink吗?):

kafka (3 topics on different feeds) -> flatmap -> union -> map

enter image description here

这个设置是否会告诉集群管理员将所有内容放在一台机器上?

此外 - 图像中的“未设置”值是多少?我错过了一些步骤?或者一些待实现的UI功能?

1 个答案:

答案 0 :(得分:2)

问题是您正在未加密(未组合)的流上构建global window,因此窗口必须在一台计算机上运行。

也许你也可以用不同的方式表达你的应用程序逻辑,以便你可以对流进行分组。

"(未设定)"部分可能是Flink的DataStream API中的一个问题,它没有设置默认的运营商名称。 针对DataSet API实施的作业如下所示: enter image description here