我正在使用Zeppelin进行pyspark脚本编写。现在,我想开始在Jupyter中编写脚本。我无法配置以下动态分配。
livy.spark.dynamicAllocation.enabled true
livy.spark.dynamicAllocation.minExecutors 6
livy.spark.shuffle.service.enabled true
我该怎么做?
仅通过更改config Json文件,我已经配置了以下项目。
livy.spark.executor.cores 4
livy.spark.executor.memory 4g