Question

我正在使用Jupyter Notebook和群集节点上的Pyspark内核，问题是我的/tmp文件夹始终已满。我已经更新了参数：

SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.appDataTtl=172800"

问题是该文件夹只有200GB，当我在Jupyter中关闭内核时，有没有办法说火花清理？或者我应该将Dspark.worker.cleanup.appDataTtl设置为30分钟，以便每隔30分钟删除所有临时文件/日志？

Answer 1

您可以尝试更改 spark.local.dir 参数到具有更多空间的不同位置。