apache spark独立更改执行程序用户名

时间:2017-08-06 10:30:13

标签: ubuntu apache-spark permissions pyspark

我在Ubuntu

下以独立模式使用Apache Spark

我正在尝试将文件保存到位于nfs主机上的位置。

spark worker是在对我尝试保存到的文件夹具有权限的用户下启动的。

我在nfs下创建新文件夹时,将文件夹的权限更改为777并仍然出错。

创建一个文件夹,然后它就不能在其中创建任何新内容。

新文件夹再次具有旧权限,不允许spark执行程序向其写入任何内容。

我该如何解决这个问题?

1 个答案:

答案 0 :(得分:0)

用户名没有问题,问题是nfs服务器,当连接到它时,我和客户端机器中的uid一样,这不适合nfs服务器中的所有者uid, fix将转到nfs主机中的/ etc / exports文件 并添加此行 / var / general / nfs * (rw,sync,no_root_squash,all_squash,anonuid=1000,anongid=1000,no_subtree_check)

将所有传入的nfs连接设置在正确的uid下以控制位置