为什么有更多的python进程而不是Spark中的核心数？

Question

我正在ipython控制台中运行pyspark作业。我将spark master设置为"host"。所以我希望驱动程序有一个核心，它应该是一个Java进程，而其他三个核心都运行一个Python进程。但是，这是我的"port"，

的屏幕截图

为什么有16个python进程？为什么不只有3个python进程？如果我没记错的话，16就是这台服务器上的核心总数。

Answer 1

如果您还没有这样做，请查看here。

您决定使用四名工作人员，默认情况下每人有一名执行人员。但是，一个执行程序正在运行一些任务，每个任务都是一个python进程。

here给出了关于该主题的出色解释。