我正在使用Jupyter笔记本中带有spark独立的客户端部署模型。我在应用程序中的配置如下:
conf.setMaster('spark://hadoop-master:7077')
conf.set("spark.driver.cores","4")
conf.set("spark.driver.memory","8g")
conf.set("spark.executor.memory","16g")
但是,我推测spark.driver.cores无效,Spark WEB UI显示:
为什么核心为零?如何修改此值? 此外,Spark WEB UI环境显示如下:
因此,配置似乎已上传到服务器。