允许spark在azure文件共享安装上创建具有写访问权的tmp文件

时间:2020-10-22 06:51:00

标签: scala apache-spark azure-files azure-vm

我正在运行linux ubuntu vm,并且使用fstab将Azure文件共享驱动器安装到VM上,

{storageName}.file.core.windows.net/{storageName} /mnt/fileshare cifs nofail,vers=3.0,uid=myUserName,gid=myUserGroup,credentials=/etc/smbcredentials/{storageName}.cred,serverino,file_mode=0777,dir_mode=0777,nounix,noperm    0 0

spark.local.dir设置为指向已挂载的文件共享。除了在tmp中以“ spark-”为前缀的目录之外,spark创建的文件夹主要都具有777访问权限,而该目录是在没有写访问权限的情况下创建的。缺少此权限导致尝试删除文件夹时,我的spark作业失败。

赞赏是否有人可以建议我以星火写访问权限创建以“ spark-”开头的文件夹。

提前谢谢!

0 个答案:

没有答案