我已经进行了很多搜索,但是没有找到解决方案。
让我们假设流式处理过程中的某些步骤必须仅在可用节点/任务管理器的子集中执行,而其余任务可以在任何地方自由计算。
¿我如何分配仅在节点子集中执行的DataStream?
这主要是输入/接收任务所必需的,因为并不是集群中的每个节点都具有相同的连接性/安全性限制。
我是flink的新手,所以如果我要提出明显的要求,请原谅我。
非常感谢。
答案 0 :(得分:0)
如线程[1]中所述:在“ DataStream级别”而不是在“作业级别”完全不可能实现这一目标。
如Vino Yang [1]在Yarn上的flink 1.6中所解释的,我们可以为作业[2]设置标签并为我们的作业获得一些“可分配性控制”,但是对于“低级”任务也是可能的。 / p>
感谢维诺分享他的知识。