Spark工作者目录

时间:2016-10-25 22:55:29

标签: apache-spark emr amazon-emr

我在一个有4个磁盘的节点上运行Spark(/ mnt1,/ mnt2,/ mnt3,/ mnt4)。我想将执行程序的临时输出写入本地目录。有没有办法将每个磁盘统一分配给执行程序,以便统一使用所有磁盘?目前,它从“forEachParition”操作写入/ mnt1的所有数据。

0 个答案:

没有答案