Spark任务(每个执行者)是否共享缓存位置?

时间:2018-11-28 10:48:45

标签: apache-spark

Do spark使用相同的缓存位置为每个执行者存储tmp文件

例如,如果我有两个任务在一个执行程序中运行,并且都创建了一个具有相同名称的文件,那么会不会出现“文件存在”的错误?

1 个答案:

答案 0 :(得分:0)

我从另一个来源得到了答案,

  

它确实使用相同的缓存位置,具体取决于其spark本地目录   属性和io tmp dir(用于Java东西),

     

如果通过创建文件来表示要添加文件(addFile),那么您   可以通过将spark.files.overwrite设置为true来克服这个问题,   仅当当前文件与新文件不同时才起作用   添加。