我用以下脚本启动了纱线会议:
./bin/yarn-session.sh -n 4 -tm 2048 -s 3
上面的脚本有4个任务管理器,每个任务管理器有3个插槽,因此总共有12个插槽。
然后我提交Flink附带的字数示例(我没有在命令中指定-p
)
bin/flink run examples/streaming/WordCount.jar
运行上述脚本时,显示一行记录:
019-07-15 16:37:23,439 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - YARN properties set default parallelism to 12
我认为单词计数将与并行度12
一起使用,因为在我的情况下可以使用12个插槽,但是当我查看UI时,它表明并行度仅为1
,我会问为什么
UI上的并行度是1(不是12,这意味着Flink不会使用所有可用的计算资源),有什么我想念的吗
更新:
看起来并行度1是由conf / flink-conf.yaml控制的,其中有一个配置条目:parallelism.default=1
然后我想问一下日志中的default parallelism to 12
是什么意思:2019-07-15 16:37:23,439 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli - YARN properties set default parallelism to 12