集群上的Spark进程是一个Java进程

Question

我对Java不太了解。 谁能为我解释这句话。

“任何可以在您的群集或本地计算机上运行的apache Spark进程都是JVM进程。”

Answer 1

Spark基于驱动程序和执行程序的概念，其中驱动程序是主程序，执行程序是从程序。 spark中有两种类型的操作：转换和操作。尽管只有驾驶员可以发起一项操作，执行者才是实际执行该操作的执行者。因此，您可以说在Spark执行中发生的任何事情，驱动程序和执行程序仅是一种责任。驱动程序和执行程序不过是JVM进程或JVM容器（纱线）而已。因此，每个操作仅由JVM进程（驱动程序和执行程序）执行。 希望这能解释您的查询。