如何检查PySpark使用了多少个内核?

时间:2019-02-24 16:08:45

标签: apache-spark ubuntu pyspark virtualbox cpu-cores

我已经安装了VirtualBox(Ubuntu 18.04.2 64位)和PySpark 2.4.0。创建VB时,我最多只能容纳4个CPU。

我应该如何检查Spark使用了多少个内核?

1 个答案:

答案 0 :(得分:0)

这取决于master URL,后者描述了要使用的运行时环境(集群管理器)。

由于这是面向基础架构的低级别内容,因此您可以通过查询SparkContext实例来找到答案。

例如如果是local[*],则意味着您要使用与本地JVM上可用的CPU相同的CPU(最重要的部分)。

$ ./bin/pyspark
Python 2.7.15 (default, Feb 19 2019, 09:17:37)
[GCC 4.2.1 Compatible Apple LLVM 10.0.0 (clang-1000.11.45.5)] on darwin
...
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.0
      /_/

Using Python version 2.7.15 (default, Feb 19 2019 09:17:37)
SparkSession available as 'spark'.
>>> print sc.master
local[*]
>>> print sc.defaultParallelism
8