标签: apache-spark
我使用spark-2.1.1-bin-hadoop-2.7独立模式(4个工作组,120g内存,总共32个内核) 虽然我将spark.local.dir conf param定义为写入/opt,但是火花工作人员继续写信给/tmp dir,例如/tmp/spark-e071ae1b-1970-47b2-bfec-19ca66693768
spark.local.dir
/opt
/tmp
/tmp/spark-e071ae1b-1970-47b2-bfec-19ca66693768
有没有办法告诉spark worker 不写/tmp dir?