如何在Jupyter中为PySpark配置动态分配

时间:2019-05-20 16:16:55

标签: python apache-spark pyspark jupyter-notebook

我正在使用Zeppelin进行pyspark脚本编写。现在,我想开始在Jupyter中编写脚本。我无法配置以下动态分配。

livy.spark.dynamicAllocation.enabled true
livy.spark.dynamicAllocation.minExecutors 6
livy.spark.shuffle.service.enabled true

我该怎么做?

仅通过更改config Json文件,我已经配置了以下项目。

livy.spark.executor.cores 4
livy.spark.executor.memory 4g

0 个答案:

没有答案