如何在flink中为任务管理器/任务插槽指定核心数

时间:2020-08-24 04:28:54

标签: apache-flink

给出以下yarn-session命令:

yarn-session.sh -d -n 12 -tm 4096 -qu QueueX -s 4 -jm 2048

我们为任务管理器指定的内存为4096,并且为每个任务管理器指定的插槽数为4,并且每个任务插槽的1/4分配给任务管理器。

那CPU内核又如何呢?

我们可以为每个任务管理器指定芯数吗?(默认情况下,每个纱线容器只有一个芯)。而且,我们可以指定每个任务插槽的内核数量吗?

如果我们不指定内核数,那么每个任务管理器/任务插槽将使用多少个内核。

1 个答案:

答案 0 :(得分:1)

默认情况下,vcore数设置为每个TaskManager的插槽数(如果已设置),否则设置为1。每个TaskManager的插槽数由taskmanager.numberOfTaskSlots中的flink/conf/flink-conf.yaml参数指定。如果要为每个TaskManager分配多个vcore,而不是插槽号,则可以另外在yarn.containers.vcores中提供flink/conf/flink-conf.yaml设置-每个YARN容器的虚拟核心数(vcore)。