Spark在独立模式下忽略--master local [*]

时间:2017-09-06 13:27:50

标签: apache-spark pyspark apache-spark-sql debian-jessie

我在SparkSQL中有一个小程序,在我的Mac OS X本地机器上使用100%的4 cpus(使用--master local [*]选项时)。但是当我在基于Debian Jessie的虚拟机上使用相同选项执行相同的代码时,它只使用1个cpu。看起来它无法分配超过1个cpu,无论你发送什么--master选项。

我在两种情况下都使用spark-2.1.0-bin-hadoop2.7和java 8。

是否有任何已知问题?

提前致谢,

0 个答案:

没有答案