使用YARN在集群模式下运行spark时出现java.io.FileNotFoundException

Question

我有一个在一个节点上按预期运行的spark应用程序。

我现在使用yarn在多个节点上运行它。但是，如果找不到文件异常，则会失败。我首先将此文件路径从相对路径更改为绝对路径，但错误仍然存​​在。然后，我读到here，如果默认值是HDFS，则可能需要在路径前添加file://。有问题的文件类型为json。

尽管使用绝对路径和前缀为file，但此错误仍然存​​在：

16/11/10 10:19:56 INFO yarn.Client: client token: N/A diagnostics: User class threw exception: java.io.FileNotFoundException: file://absolute/dir/file.json (No such file or directory)

为什么这对一个节点正常工作，但在带纱线的群集模式下不能正常工作？

Answer 1

你错过了一个斜杠/。尝试：

file:///absolute/dir/file.json

此处file://前缀指定NFS文件系统，您需要指定从正斜杠开始的绝对路径，总共需要三个正斜杠。