Spark驱动程序使用的内核数量

时间:2017-08-29 07:40:47

标签: apache-spark apache-spark-sql spark-dataframe

在群集模式下,我可以使用spark.driver.cores为驱动程序设置核心数。但是在驱动程序的客户端和本地模式下使用了多少个核心

1 个答案:

答案 0 :(得分:0)

如果您使用master local [*]在本地运行应用程序,请在此处*提及它们将使用本地系统中的所有可用内核,如果您使用的是本地[n],则此处n是您想要的内核数量在你的申请中使用。它是应用程序在本地模式下使用的核心,因为当您在本地驱动程序中运行应用程序时,执行程序在单个JVM中启动。