Spark任务（每个执行者）是否共享缓存位置？

Question

Do spark使用相同的缓存位置为每个执行者存储tmp文件

例如，如果我有两个任务在一个执行程序中运行，并且都创建了一个具有相同名称的文件，那么会不会出现“文件存在”的错误？

Answer 1

我从另一个来源得到了答案，

  

它确实使用相同的缓存位置，具体取决于其spark本地目录   属性和io tmp dir（用于Java东西），

     

如果通过创建文件来表示要添加文件（addFile），那么您   可以通过将spark.files.overwrite设置为true来克服这个问题，   仅当当前文件与新文件不同时才起作用   添加。