我正在使用spark独立集群（Linux平台和python应用程序），使用nfs在主机和工作机器之间共享文件。我尝试使用主机和一台工作机器并且能够提交应用程序，它在工作机器中运行但是无法创建输出文件（使用spark saveAsTextFile），抛出mkdir失败错误。在主机和工作机器中，nfs目录具有创建和删除文件的权限，并且我能够手动创建它，但当spark尝试在该目录中创建文件时，它会创建临时文件夹（_temporary和0文件夹）但是无法创建零件文件。 我尝试使用＆＃34; chmod -R 777＆＃34;但仍然失败了。有没有办法让它发挥作用！
提前致谢
答案 0 :(得分：0)
这似乎是一个特权问题。 在NFS中创建目录时，必须使用
提供目录权限chown username：NFS目录的groupname路径
然后，您必须使用特权用户或组运行spark应用程序。
如果你仍然面临这个问题 你可以试试这些
NFS目录的chgrp组名路径
然后尝试，
NFS目录的chmod 777路径
这可能有用。
一切顺利