通过YARN提交作业时,Spark提交spark.local.dir设置不起作用

时间:2017-09-27 18:25:08

标签: apache-spark yarn

我们正在尝试运行Spark Submit作业,当我们使用以下命令通过YARN运行Spark Submit作业时,我们注意到在/opt/mapr/spark/spark-1.6.1/bin中创建了Spark Scratch目录。我们无权在/opt/mapr/spark/spark-1.6.1/bin中创建临时目录。因此,我们尝试使用conf属性spark.local.dir设置我们具有写访问权限的文件夹的临时目录路径。

./spark-submit --class org.apache.beam.runners.spark.examples.WordCount --master yarn --conf "spark.local.dir=/hadoop/landingzone/" /hadoop/landingzone/beam-runners-spark-bundled-spark.jar --runner=SparkRunner --inputFile=/hadoop/landingzone/pom.xml --output=counts 

收到异常:

IOException because we don't have write access to /opt/mapr/spark/spark-1.6.1/bin directory.

警告讯息:

In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN)

如果spark.local.dir设置不起作用,请您指导在通过YARN提交作业时如何设置临时目录路径。

由于

0 个答案:

没有答案