Spark Jobs填写SPARK_LOCAL_DIRS位置的磁盘

Question

火花作业在很短的时间内（<10分钟）填满了磁盘。我有一个10GB的磁盘空间，它在SPARK_LOCAL_DIRS位置已满。在我的例子中，SPARK_LOCAL_DIRS设置为/ usr / local / spark / temp。

有很多这样的文件输入-0-1489072623600，每个文件介于3MB-8MB之间。

任何想法？

Answer 1

SPARK_LOCAL_DIRS用于rdd缓存（磁盘）和随机数据。您应该检查存储详细信息是否缓存了多少数据（磁盘）以及在工作期间是否进行了任何随机操作。