什么/默认的Spark on Yarn Working目录在哪里？

Question

在独立运行时，工作目录基本上是$ SPARK_HOME / work。

但是我不知道在纱线模式下如何找到它？我其他人可以找到spark的工作目录还是在纱线上运行的应用程序？

Answer 1

默认值始终为$SPARK_HOME/work。

如果要特定的工作目录，请配置SPARK_WORKER_DIR环境变量，例如使用conf/spark-env.sh

Answer 2

当火花在纱线上运转时，工作目录位于{yourYarnLocalDir} / usercache / {yourUserName} / appcache / {yourApplicationId}