标签: python pyspark
我已经使用Conda软件包管理器安装了PySpark,现在我想知道如何为PySpark调整SPARK_DRIVER_MEMORY以使其能够处理大量内存密集的工作?这是我用来在以Ubuntu 16.04为基础映像的Docker映像中安装PySpark的两个命令。
SPARK_DRIVER_MEMORY
conda install openjdk==8.0.152 -y conda install pyspark==2.3.2 -y
我试图在容器内寻找SPARK_DRIVER_MEMORY,但找不到。