使用conda安装PySpark时如何调整SPARK_DRIVER_MEMORY?

时间:2019-01-29 23:50:31

标签: python pyspark

我已经使用Conda软件包管理器安装了PySpark,现在我想知道如何为PySpark调整SPARK_DRIVER_MEMORY以使其能够处理大量内存密集的工作?这是我用来在以Ubuntu 16.04为基础映像的Docker映像中安装PySpark的两个命令。

conda install openjdk==8.0.152 -y
conda install pyspark==2.3.2 -y

我试图在容器内寻找SPARK_DRIVER_MEMORY,但找不到。

0 个答案:

没有答案