我正在评估潜在用例Apache Flink
的过程中,我正在努力如何在Flink
本身模拟我的计算。
在我的情况下,我将有许多(未知的前期)小型异构处理图,每个图都可以使用标准Flink
DataStream
API的一部分来处理来自外部传感器的数据。每个图表的计算成本都不高。我的第一个想法是让每个小图分开工作并将其部署到Flink
集群。问题是,由于任务槽不在来自不同作业的子任务之间共享,我面临的情况是我需要创建具有大量任务槽的任务管理器,但我读到的任何地方都建议使用等于系统中的核心数量。
我发现了一篇关于在作业的性质以某种方式动态(https://techblog.king.com/rbea-scalable-real-time-analytics-king/)时使用Flink
但在某种情况下在Flink
之上实现某种自定义DSL的文章使用DataStream
可以很容易地表达将要创建的大多数图表,这对我来说不是一个优雅的解决方案。
Flink是不是设计用于处理使用DataStream
API定义的动态数量的作业,Flink
方式是使用单个元作业对我的用例进行建模能够表达所有潜在的计算?