为什么spark执行器核心与spark web UI中的活动任务不相等？

Question

我正在使用Spark 2.3 thrift服务器进行Ad-hoc Sql查询。我的spark参数在spark-defaults.conf文件中设置如下：

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

然而，当我检查火花网ui时，火花核心与活动任务不相同，如图所示：

活动任务如何比分配的核心更大？有任何想法吗？谢谢！

Answer 1

我见过同样的事情。我不确定100％，但是我认为这是执行程序上的Task线程池和指标报告代码之间的竞争条件。

如果单击线程转储，您将看到正确的线程数。但是，如果尝试50次（运气好的话），您会看到一个额外的任务线程正处于TIMED_WAITING状态。