标签: apache-spark emr amazon-emr
我在一个有4个磁盘的节点上运行Spark(/ mnt1,/ mnt2,/ mnt3,/ mnt4)。我想将执行程序的临时输出写入本地目录。有没有办法将每个磁盘统一分配给执行程序,以便统一使用所有磁盘?目前,它从“forEachParition”操作写入/ mnt1的所有数据。