Do spark使用相同的缓存位置为每个执行者存储tmp文件
例如,如果我有两个任务在一个执行程序中运行,并且都创建了一个具有相同名称的文件,那么会不会出现“文件存在”的错误?
答案 0 :(得分:0)
我从另一个来源得到了答案,
它确实使用相同的缓存位置,具体取决于其spark本地目录 属性和io tmp dir(用于Java东西),
如果通过创建文件来表示要添加文件(addFile),那么您 可以通过将spark.files.overwrite设置为true来克服这个问题, 仅当当前文件与新文件不同时才起作用 添加。