使用Jupyter Notebook tmp目录设置的Spark集群

时间:2016-11-03 12:47:19

标签: apache-spark jupyter-notebook

我有一个问题(而不是要求),所有临时文件都写入特定目录。

我目前设定:

spark.local.dir /path/to/my/other/tmp/directory
spark.eventLog.dir /path/to/foo/bar

这种方法有效,但我仍然在默认的/tmp文件夹中获得了一些文件。 一些<some hash>_resources,一个名为hive的文件夹,很多liblz4-java<some hash>.sosnappy-<version>-<hash>-libsnappyjava.so个文件。

我想设置这些临时文件的路径,任何想法?对于这样的事情,最好的做法是什么?

0 个答案:

没有答案