Apache Spark独立调度程序-为什么驱动程序在“群集”模式下需要整个核心？

Question

在spark的“客户端”部署模式下，spark驱动程序不使用内核，仅使用spark应用程序。但是，为什么在“集群”模式下，火花驱动程序本身需要一个内核？

Answer 1

在客户端模式下，提交作业的计算机是驱动程序。

Answer 2

Spark上下文中的核心与CPU核心不同。它只是具有一定数量RAM的计算单位。运行任何进程都需要一个核心。驱动程序需要协调集群上的Spark任务。实际上，它很可能只消耗一小部分CPU和大约1-2 GB的内存。