Spark作业一直有输出文件夹已经存在异常

Question

我正在运行一个spark作业，并且它一直失败，输出文件夹已存在异常。我确实在作业之前删除了输出文件夹。看起来该文件夹是在作业期间创建的，它混淆了其他节点/线程。它随机发生，但并非总是如此。

Answer 1

。

rdd.write（）格式（ “镶木”）模式（SaveMode.Overwrite）.save（ “位置”）;

这应解决文件已存在的问题。

Answer 2

如果您使用的是本地文件系统路径，请注意该文件夹是在所有工作程序上创建的。所以你可能不得不从所有这些中删除它。