选择节点以执行Flink DataStream

时间:2018-08-12 16:05:38

标签: apache-flink flink-streaming

我已经进行了很多搜索,但是没有找到解决方案。

让我们假设流式处理过程中的某些步骤必须仅在可用节点/任务管理器的子集中执行,而其余任务可以在任何地方自由计算。

¿我如何分配仅在节点子集中执行的DataStream?

这主要是输入/接收任务所必需的,因为并不是集群中的每个节点都具有相同的连接性/安全性限制。

我是flink的新手,所以如果我要提出明显的要求,请原谅我。

非常感谢。

1 个答案:

答案 0 :(得分:0)

如线程[1]中所述:在“ DataStream级别”而不是在“作业级别”完全不可能实现这一目标。

如Vino Yang [1]在Yarn上的flink 1.6中所解释的,我们可以为作业[2]设置标签并为我们的作业获得一些“可分配性控制”,但是对于“低级”任务也是可能的。 / p>

感谢维诺分享他的知识。

[1] http://mail-archives.apache.org/mod_mbox/flink-user/201808.mbox/%3C1534090580.7952.107.camel@uam.es%3E

[2] https://issues.apache.org/jira/browse/FLINK-7836