Spark工作者使用了多少个jvm进程？

Question

每个spark执行程序都在其自己的JVM进程中运行，这意味着在每个工作程序（从属）上将运行多个JVM。可以肯定地说，每个工作程序运行的JVM数量与分配给该计算机的执行程序的数量一样多，至少还有一个JVM（因为spark需要为每个工作程序上的BlockManager至少增加一个JVM）。换句话说，每个工作程序上的BlockManager是否在不同的JVM进程上运行？

Answer 1

您正在使用哪个集群管理器？

Spark使用K8s / Mesos / Yarn等集群管理器进行资源分配。 JVM的运行位置将由集群管理器决定。作为客户端从这些集群管理器请求资源的火花。