我正在使用Azure Databricks的自动扩展群集。 pyspark工作必须调用外部进程，所以我希望我可以留下每个节点的一定百分比＆＃34;未使用＆＃34;通过火花。我找到了spark.cores.max，但这是核心总数，而不是每个节点的总数。是否有可用于设置每个节点的最大核心数的等效参数？
答案 0 :(得分：0)
您可以在此行添加工作人员conf/spark-env.sh：
SPARK_WORKER_CORES=4
来自https://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts：
SPARK_WORKER_CORES允许Spark应用程序在计算机上使用的核心总数（默认值：所有可用核心）。