在本地计算机上的纱线上运行spark时,为什么hdfs下的spark .sparkStaging文件夹?

时间:2018-10-16 19:45:48

标签: apache-spark yarn

我试图弄清楚为什么我的spark .sparkStaging文件夹默认位于本地hdfs的/ user / name /文件夹下?我从来没有为火花设置工作目录。因此,为什么以及如何使用hdfs获得此设置?什么配置为此设置默认值。我在“ UI”选项卡中检查了火花环境,并检查了纱线的配置,但看不到有任何设置的内容。有人可以给我一个提示吗?

0 个答案:

没有答案