Spark本地模式：如何查询执行程序插槽的数量？

Question

我按照教程Using Apache Spark 2.0 to Analyze the City of San Francisco's Open Data进行了宣传＆＃34;本地模式＆＃34; Databricks＆＃34; Community Edition＆＃34;为您提供3个执行器插槽。 （所以3个任务应该能够同时运行。）

然而，当我看到＆＃34;事件时间表＆＃34;在Databricks＆＃34; Community Edition＆＃34;上我自己的笔记本中具有多个任务的作业阶段的可视化，看起来最多可同时运行8个任务：

有没有办法从PySpark或Databricks笔记本查询执行程序插槽的数量？或者我可以直接在某个地方看到Spark UI中的数字吗？

Answer 1

Databricks＆＃34; slot＆＃34; = Spark＆＃34;核心＆＃34; =可用线程

＆＃34;插槽＆＃34;是Databricks使用（或使用？）用于可用线程来为Spark执行并行工作的术语。 Spark文档和Spark UI 调用相同的概念＆＃34;核心＆＃34; ，即使它们与物理CPU核心无关。

（请参阅Hortonworks社区的this answer和this "Spark Tutorial: Learning Apache Spark" databricks notebook。）

查看Spark UI中的插槽/核心/线程数（在Databricks上）

要查看Databricks群集中有多少，请点击＆＃34; Clusters＆＃34;在左侧导航区域中，然后将鼠标悬停在群集的条目上，然后单击＆＃34; Spark UI＆＃34;链接。在Spark UI中，单击＆＃34; Executors＆＃34;标签

您可以在摘要和＆＃34;核心＆＃34;中的每个执行者 ¹ 中看到执行者核心数（=执行者位数）。相应表格中的列：

¹ ＆＃34;本地模式＆＃34;中只有一个执行者集群，这是Databricks社区版中可用的集群。

查询插槽/核心/线程数

如何从笔记本中查询此号码，我不确定。

spark.conf.get('spark.executor.cores')

结果为java.util.NoSuchElementException: spark.executor.cores