如何将Spark临时目录指向EMR中的其他文件系统

Question

在核心计算机的EMR Spark集群中，我的EBS卷大小为128GB。我的Spark程序给我“设备上没有剩余空间”错误。因此，我要在EMR中将spark使用的临时目录指向另一个文件系统“ / dev / xvdb2”。我该怎么办？

下面是我的一台核心计算机的输出。

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs         34G   78k   34G   1% /dev
tmpfs            34G     0   34G   0% /dev/shm
/dev/xvda1       11G  4.3G  6.1G  42% /
/dev/xvdb1      5.4G   35M  5.4G   1% /emr
/dev/xvdb2      133G   12G  121G   9% /mnt

Answer 1

尝试在您的spark/conf/spark-env.sh中放入类似内容：

导出SPARK_LOCAL_DIRS = / opt / spark / tmp