在我的情况下,有多少个任务(或并行性)同时运行

时间:2019-07-17 03:58:09

标签: apache-flink

我有一个简单的flink应用程序,除了读取HDFS目录下的文件外,不执行任何操作(共有100个文件)

flink应用程序具有20个任务管理器,每个任务管理器具有3个插槽。 提交申请时,我用```{r, comment=NA, echo=FALSE, results='asis'} print("<P style='page-break-before: always'>") ```

指定并行性

我会问,当应用程序运行时,要同时读取多少个文件?

从文档来看,答案似乎是15,因为源运算符继承了并行度15。但是,有20 * 3 = 60个可用插槽,如果并行度是15,则有60-15 = 45个插槽可以什么都没有(这是资源浪费)。我认为Flink将尽可能多地使用可用的计算资源,这意味着并行度应为60。

0 个答案:

没有答案