我有一个问题(而不是要求),所有临时文件都写入特定目录。
我目前设定:
spark.local.dir /path/to/my/other/tmp/directory
spark.eventLog.dir /path/to/foo/bar
这种方法有效,但我仍然在默认的/tmp
文件夹中获得了一些文件。
一些<some hash>_resources
,一个名为hive
的文件夹,很多liblz4-java<some hash>.so
和snappy-<version>-<hash>-libsnappyjava.so
个文件。
我想设置这些临时文件的路径,任何想法?对于这样的事情,最好的做法是什么?