如何检查Spark使用的核心数量？

Question

我将spark.cores.max设置为24 [3个工作节点]，但是如果我进入我的工作节点并且看到只有一个进程[command = Java]正在运行，那就会消耗内存和CPU。我怀疑它没有使用所有8个核心（在m2.4x large上）。

如何知道号码？

Answer 1

您可以在Spark Web UI下查看群集中每个工作程序占用的核心数：