不了解如何计算并行度

时间:2019-07-15 08:53:14

标签: apache-flink

我用以下脚本启动了纱线会议:

./bin/yarn-session.sh -n 4 -tm 2048 -s 3

上面的脚本有4个任务管理器,每个任务管理器有3个插槽,因此总共有12个插槽。

然后我提交Flink附带的字数示例(我没有在命令中指定-p

bin/flink run examples/streaming/WordCount.jar

运行上述脚本时,显示一行记录:

019-07-15 16:37:23,439 INFO  org.apache.flink.yarn.cli.FlinkYarnSessionCli                 - YARN properties set default parallelism to 12

我认为单词计数将与并行度12一起使用,因为在我的情况下可以使用12个插槽,但是当我查看UI时,它表明并行度仅为1,我会问为什么 UI上的并行度是1(不是12,这意味着Flink不会使用所有可用的计算资源),有什么我想念的吗

更新:

看起来并行度1是由conf / flink-conf.yaml控制的,其中有一个配置条目:parallelism.default=1

然后我想问一下日志中的default parallelism to 12是什么意思:2019-07-15 16:37:23,439 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - YARN properties set default parallelism to 12

0 个答案:

没有答案