如何在spark中设置驱动程序的核心?

时间:2017-03-28 09:07:38

标签: apache-spark pyspark

我正在使用Jupyter笔记本中带有spark独立的客户端部署模型。我在应用程序中的配置如下:

conf.setMaster('spark://hadoop-master:7077')
conf.set("spark.driver.cores","4")
conf.set("spark.driver.memory","8g")
conf.set("spark.executor.memory","16g")

但是,我推测spark.driver.cores无效,Spark WEB UI显示: enter image description here

为什么核心为零?如何修改此值? 此外,Spark WEB UI环境显示如下: enter image description here

因此,配置似乎已上传到服务器。

0 个答案:

没有答案