我想更改spark使用的tmp目录，所以我在spark-submit中有类似的内容。
spark-submit <other parameters> --conf "spark.local.dir=<somedirectory>" <other parameters>
但是我注意到它没有作用，因为Spark仍然使用默认的tmp目录。我在这里做什么错了？
顺便说一句，我正在使用Spark的独立集群。
答案 0 :(得分：1)
来自https://spark.apache.org/docs/2.1.0/configuration.html
在Spark 1.0及更高版本中，spark.local.dir被SPARK_LOCAL_DIRS覆盖（独立，Mesos）或LOCAL_DIRS （YARN）环境变量由集群管理器设置。”
答案 1 :(得分：0)
好的，看来此选项已被弃用。一种有效的方法是更改SPARK_LOCAL_DIRS中spark-env.sh的值。例如，这样。
SPARK_LOCAL_DIRS="/data/tmp/spark"